10月21日、Anthropic が「Claude Duet」という新しいアプリのリサーチプレビューを始めました。X でも「Claude が秘書みたいに先回りして動いてくれるやつ」としてけっこう話題になっています。
公式の説明では、Claude Duet は「仕事を抱えきれない専門職や小規模事業者」向けに作られたエージェントで、つないだアプリを見て、気にすべきことを向こうから知らせてくれて、頼んだ仕事をこちらが離れている間も進めてくれる、というものです。
新しいAIアプリのニュースは毎週のように出ているので、それだけなら記事にしなかったと思います。今回自分が気になったのは、同時に公開された安全・プライバシーの設計についての記事のほうです。「AIに何を任せて、どこで人が止めるか」がかなり具体的に書かれていて、お店や小さい会社がAIに業務を任せるときの考え方としてそのまま参考になると感じました。
なお、今のところ Claude Duet はアメリカの Pro・Max プラン契約者から順番に、ウェイトリスト経由で使える状態です。日本ですぐ使える話ではないので、今回は「設計の考え方」を読む記事として書いています。
01｜Claude Duet ってなに？
公式の紹介記事によると、ざっくりこんなものです。
- 毎朝、つないだアプリ（メールやカレンダー、Slack など）の中から大事なことを短くまとめて送ってくる
- 日中も数時間おきにアプリを確認して、対応が必要なものがあったときだけ連絡してくる
- 会議の調整から、ダッシュボードや売上予測づくりまで、短い指示で仕事を頼める
- 自分専用のクラウド上の仮想マシンとブラウザを持っていて、こちらのスマホやPCが閉じていても作業が進む
- こちらの代わりに何かをする前には、必ず確認してくる
「数時間おきに確認する」のは、ずっと見張っていると利用上限をすぐ使い切ってしまうから、と公式にはっきり書いてあるのも正直でいいなと思いました。常時監視はAIでもタダではない、というのは仕組みを作る側としても実感があるところです。
また、Anthropic 自身が「まだスレッドを読み違えたり、何が急ぎかの判断を外したりすることがある」と書いています。完成品というより、試しながら調整している段階のものです。
02｜「確認してから動く」の中身が細かい
安全設計の記事で一番おもしろかったのが、承認（人の確認）の決め方です。整理すると、AIの行動を3つの段階に分けています。
① 確認を取ってから動くもの
大事な情報を含むかもしれないメッセージを送る、何かを買う、何かを消す、といった行動の前には、「何をするか・どこに送るか・中身（宛先は全員分）」を見せて、承認を待つ。
② 何度承認しても「次から聞かなくていい」にできないもの
支払いや送金、注文の削除、アカウントの作成などは、何回OKしていても毎回確認が入る。
③ 承認してもやらないもの
株の売買、口座間の送金のような銀行の操作、他人のアカウントへのアクセスは、本人がOKしても対象外。
ふつう「AIに確認させる」というと、①だけをイメージしがちです。でも実際に運用すると、何度も同じ確認が来るうちに「もう毎回聞かなくていいよ」としたくなる。そこで②として「慣れても省略させないもの」を最初から決めている。さらに③で「そもそもAIの仕事にしないもの」を線引きしている。この3段階の分け方は、うちのような小さい会社でもそのまま使える考え方だと思います。
03｜「確認しすぎ」もちゃんと問題にしている
もう一つ、いいなと思ったのがここです。公式の記事では、承認疲れ（approval fatigue）を深刻な問題として挙げています。確認の回数が多すぎると、人はよく見ずにOKを押すようになる。だから、どれくらいの頻度で確認するかの調整にかなり時間を使ったし、これからも調整を続ける、と書いています。
これは本当にその通りで、「安全のために全部確認させよう」とすると、確認がただの作業になって、かえって危なくなります。お店の方に業務ツールを使ってもらうときも同じで、毎回出てくる確認画面は、だんだん読まれなくなっていきます。
なので、確認は「多いほど安全」ではなく、本当に止まってほしいところだけ止まるように絞るのが大事です。そのぶん、止まったときには何をしようとしているのかがひと目でわかるようにしておく。Claude Duet が宛先を全員分見せる、と書いているのもそのためだと思います。
04｜確認の仕組みを、AIの外に置いている
技術的に一番大事だと思ったのはここです。
Claude Duet では、承認のカードや「この行動はユーザーの意図に合っているか」をチェックする仕組みが、作業をしているAIモデルの外で動いている、と説明されています。理由は、AIが読んだWebページに隠れた指示（いわゆるプロンプトインジェクション）が書かれていても、その結果を左右できないようにするため。
さらに、パスワードやログイン用のトークンも、AIモデルからは見えない別の場所で扱っていて、AIは中身を知らないまま作業する作りになっているそうです。
ここから言えるのは、「AIに『送る前に確認してね』とお願いする」だけでは安全の仕組みにならない、ということです。お願いはAIへの指示なので、読み込んだ文章しだいで破られる可能性がある。本当に止めたいところは、AIがどう判断しても勝手に先へ進めない仕組みとして、AIの外側に作っておく必要があります。
AIを業務に組み込むシステムを作る側として、自分もここは一番気をつけているところです。
05｜お店や小さい会社なら、こう始める
Claude Duet をすぐ使えなくても、考え方は今のAIツールでも取り入れられます。自分ならこの順番でやります。
- AIに任せたい仕事を書き出して、さっきの3段階に分ける
たとえば「予約の確認メールの下書き」は任せる、「お客様へのメール送信」は毎回確認、「返金や支払い」はAIにやらせない、というように。 - ②（毎回確認）に入るものを、最初に決めておく
お金が動くこと、消したら戻せないこと、お客様に届くことは、慣れても省略しない、と決めてしまう。 - 確認画面は「何を・誰に・どんな中身で」がひと目でわかる形にする
ITに詳しくないスタッフが見ても判断できる言葉で出す。英語の項目名や専門用語が並んでいると、結局よく見ずにOKを押すことになります。 - 確認が多すぎると感じたら、減らす
毎日同じ確認が何十回も来るなら、それは仕組みの切り分けを見直すサインです。
AIがどんどん先回りして動いてくれるのは便利です。ただ、便利になるほど「どこで止まるか」を先に決めておかないと、気づいたときには取り返しがつかないことも起こりえます。任せる範囲を広げる前に、止めどころを決める。Claude Duet の設計を読んで、改めてそう思いました。