10月27日、Anthropicが「How AI agents shape experts' judgment calls（AIエージェントは専門家の判断をどう左右するか）」という研究を出しました。読んでいて、正直ちょっとドキッとしました。
ざっくり言うと、データ分析のプロ50人にAI（Claude Code）と一緒に分析をしてもらったら、どちらを選んでも間違いではない判断のほとんどで、AIが「こっちがいいと思います」と言ったほうを選んでいた。しかもAIの好みは、実験側がコイン投げで決めていたもの。それなのに、本人たちは「自分で決めた」と思っていた、という話です。
うちでも、システムの設計や見積もりの前提、お客さんへの提案内容をAIと相談しながら決めることが増えています。これは他人事じゃないなと思ったので、実験の中身と、自分ならどう付き合うかを整理します。
01｜どんな実験だったのか
設定はこうです。
- 架空の農業協同組合が、有料の営農アドバイスを続けるか、補助を出して広げるかを決めたい
- 「生産性が3〜4%くらい上がるなら広げる」という基準はあるけど、生産性をどう測るかは決まっていない
- 分析者は、途中で4つの「どちらも妥当な2択」を選ぶ必要がある
4つの2択は、たとえば「生産性を1ヘクタールあたりの収穫量で測るか、経費あたりの収穫量で測るか」「参加した農家だけで効果を見るか、組合全体で見るか」といったもの。どちらを選んでも説明はつくけど、選び方しだいで結果の数字が数ポイント動く。基準が3〜4%なので、ここの選び方で結論が変わります。
そのうえで、分析者が使うAIには、見えないところ（システムプロンプト）で「この2択ではこっちを推す」という好みをコイン投げで持たせました。ただし「正直に主張すること」「データが反対を示したら考えを変えること」「結果をごまかさないこと」も指示されています。つまり、ウソはつかないけど、自分の推しははっきり言うAIです。
02｜結果：86%がAIの推しに乗っていた
数字はAnthropicの発表から拾います。
- 4つの2択で、分析者がAIの推しと同じほうを選んだのは86%（AIの影響がなければ50%くらいになるはず）
- AIが意見を言う前に自分の考えを口にしていた人でも、AIが反対だと60%が考えを変えた（AIが同意見のときは6%）
- 4つの2択でのAIの推しだけで、最終的な提案（広げる／やめる）の82%を言い当てられた
- 後で「なぜそっちを選んだの？」と聞くと、77%がAIの言い分をそのまま（ときには一字一句）使っていたのに、AIの意見だと書いたのは15%だけ
- 経験年数や学歴、専門知識のテストの点数では、誰がAIに乗りやすいかは予測できなかった
一番怖いのは最後の2つだと思っています。ベテランでも同じように引っ張られるし、引っ張られた本人は気づいていない。「AIの意見は参考にしただけで、決めたのは自分」と言える自信は、この結果を見るとちょっと揺らぎます。
ちなみにAnthropic自身も、これは「AIを使うな」という話ではないと書いています。AIを使った人のほうが作業は速く（中央値65分、使わなかった人は90分）、致命的な分析ミスもずっと少なかった（使った人50人中3人、使わなかった人11人中6人）。ただ、使わなかったグループは人数が少なく経験も浅めだったので、そこは割り引いて読んでほしいとのことです。また、実験ではAIの好みを意図的に強くしているので、普段のAIでここまで影響が出るとは限らない、とも書かれています。
03｜「正解がない判断」はチェックでは見つからない
これまでAIの使い方の話では、「AIが間違えたらどう気づくか」が中心でした。テストを回す、出典を確かめる、結果を照合する、といった話です。
でも今回の話は、間違いではないんです。どちらを選んでも筋は通る。だからテストを回しても、レビューしても、引っかからない。Anthropicも「正解がない判断では、どちらを選んでも作業はちゃんとして見える」と書いています。
中小企業の仕事に置き換えると、こういうところがまさにそれです。
- 予約システムを作るとき、キャンセル料を「前日から」にするか「当日のみ」にするか
- 広告の効果を、問い合わせ数で見るか、成約数で見るか
- 新しい機能を、まず既存のお客さんに出すか、新規向けのLPから出すか
- 見積もりで、保守費を月額にするか、年1回のまとめ払いにするか
どれも「AIに聞くと、もっともらしい理由つきでどちらかを推してくる」タイプの問いです。そして、どちらを選ぶかには、その会社の方針やお客さんとの関係、社長の考えが本来入るべきです。
04｜自分がやっている、判断を手元に残す工夫
じゃあどうするか。AIに相談するのはやめないので、聞き方を変えています。
1. AIに聞く前に、自分の答えを1行メモしておく
実験でも、先に意見を言っていた人ですら6割が考えを変えていました。それでも、先に書いておけば「変えた」ことには気づけます。変えたなら、なぜ変えたかを言えるかどうかを自分に聞きます。
2. 「おすすめは？」ではなく「両方の一番強い言い分を出して」と聞く
Anthropicは、実験のAIは推しのほうは上手に説明したけど、反対側を選ぶ理由はあまり強く説明しなかった、と書いています。片側だけ上手に語られたら、そっちに寄るのは当然です。なので最初から両論を出させます。
次の2択について、どちらがいいかはまだ言わないでください。
選択肢A：キャンセル料を前日から取る
選択肢B：キャンセル料は当日のみ
それぞれについて
- その選択肢を選ぶ一番強い理由
- その選択肢を選んだときに一番困るケース
- 判断を分けるために、こちらに確認すべき質問
を書いてください。
3. 「AIの意見だった」とちゃんと残す
実験では、AIの言い分を自分の言葉として説明していた人がほとんどでした。うちでは、設計メモや提案書の前提に「ここはAIの提案をもとに決めた」と書くようにしています。後で前提を見直すとき、誰の考えだったかがわかるだけで議論がかなり楽になります。
4. 人が決めることを、先にリストにしておく
全部の判断を毎回自分でやるのは無理だし、それならAIを使う意味がありません。Anthropicも「AIに渡していい判断と、手元に残す判断を意図して分けるべき」と書いています。うちだと、料金や契約条件、お客さんへの約束ごと、個人情報の扱いは人が決める側。コードの書き方や細かい画面の文言はAIの推しで進めてOK、という線を引いています。
05｜同じAIに聞けば、みんな同じ答えになる
最後に、少し大きい話です。Anthropicは、別々のチームが同じ結論にたどり着いたら普通は信頼できるけど、全員が同じAIの好みに乗っていたら、それはもう独立した意見じゃない、と指摘しています。
これはお店や中小企業でも起きると思っています。同じ業界のお店がみんな同じAIに「うちの価格どうしたらいい？」「LPの構成は？」と聞いたら、似たような答えが返ってきて、似たようなお店が増えていく。AIっぽいLPがどれも同じに見えるのは、たぶんこれと同じ構図です。
だからこそ、AIが出してきた案に「うちならこうする」を1つ足すのが大事だと思っています。お客さんとの距離感や、その店でしか知らない事情は、AIにはわかりません。そこを入れるのは人の仕事です。
AIに作業を任せるほど、残るのは「どっちにするか」を決める仕事になっていきます。その判断を、気づかないうちにAIに渡してしまわないように。決め方そのものを、一度決めておくのがおすすめです。
「AIに相談しながら業務を回したいけど、どこまで任せていいか決めたい」という相談も受けているので、気軽に声をかけてください。