顧客データを使用するAIエージェントのリスクとは？

短い回答: そのリスクとは、エージェントが何を見ることを許されているか、そのデータがどこへ行くのか、送信するものを誰が承認するのか、そして間違いを取り消すことができるか否かです。顧客レコードを接続する前に、これら4つの点を明確にしてください。流暢さはコントロールの代わりにはなりません。

私は Vinay Pasricha です。Noida で GoodSpace AI を経営しており、AI for Business Leaders を執筆しました。エージェントが「顧客を知る」ことで回答の質が向上するため、顧客データは人々がエージェントに投入したくなる燃料のようなものです。しかし、より良い回答が得られるということは、誰もレビューしていない文章によって、企業の非公開の事実が外部に漏れ出す原因にもなります。

何が問題となるのか

セッション、アイデンティティ、あるいはプロンプトが曖昧であったために、エージェントは間違った相手に事実を繰り返してしまいます。意図していなかったモデルやベンダーに顧客の詳細データを送信してしまいます。自社のチームが検索や削除を行えない場所に会話を保存してしまいます。2人の顧客を混同した返信の下書きを作成してしまいます。これらはどれも、劇的なセキュリティ侵害を必要としません。必要なのは、タスクに求められる以上のものが見えてしまうエージェントと、確認を怠ったチームだけです。

第二の失敗は、より静かに起こります。人々はあなたが承認したエージェントを通さず、「単に要約を得るため」に、エクスポートしたデータをチャットツールに貼り付けます。その場合、リスクはあなたが評価したプロジェクトではなく、それを回避する迂回路にあります。承認されたツールを指定し、決して貼り付けてはならないものを規定したポリシーは、統制の一部となります。Risk Ladderはどの層にするかを決定するためのものであり、ポリシーはその層が忙しい午後の業務を乗り切るためのものです。

また、トレーニングに関する問題もあります。顧客の言葉が、自社で管理していないモデルの改善に使用されているかどうかを把握しておく必要があります。明確な回答が得られない場合は、その顧客のデータをツールに入れたくないと判断し、データを自社側に留めておいてください。推測で隙間を埋めて、それをレビューと呼ばないでください。

接続前の4つの統制

• 見る： タスクに必要なフィールドだけを見せ、それ以外は見せないようにします。残高、チケット、注文ステータスなど。エクスポートが容易だからという理由で、レコード全体を対象にしてはいけません。
• 行く： データが入る可能性のある指定されたシステム。ベンダーがそれらをリストアップできない場合は、接続しないでください。
• 承認する： 該当の層とエビデンスが異なる判断を示すまでは、顧客が読むものはすべて人が送信するようにします。
• 取り消し: 送信されたものを特定し、保存したものを削除し、顧客に何が起きたかを伝えることができます。特定できなければ、取り消すことはできません。

利用形態を評価します。社外に出ることのないドラフトは、自動で返信するエージェントよりも低い階層に属します。管理策は階層に応じて変更すべきです。すべてのエージェントに同一の管理策を適用している企業は、何も評価していません。デフォルトのものを購入したに過ぎないのです。

保持期間に関するベンダーの回答を平易な言葉で読み解きます。プロンプトはどのくらいの期間保管されるのか。ベンダーの誰がそれらを開くことができるのか。顧客から削除を求められたときにどう対応するのか。回答が、自社の誰も読んだことのないポリシーへのリンクであるなら、管理策はまだ機能していません。誰かにそれを読ませ、自分の言葉で4行にまとめさせてください。

小規模な企業が今すぐできること

始めるのに大規模なプログラムは必要ありません。顧客データに触れる人々が実際に目にしたことのある、1ページにまとまった4行のルールがあれば十分です。そのページに記載されていないツールには、顧客データを一切入れないようにします。市場にあるすべてのツールではなく、月に1つのエージェントをレビューしてください。

もしあるプロジェクトが、小さな作業を行うために顧客の全履歴を必要としているなら、その作業の範囲を狭めてください。リスクはエージェントの賢さだけでなく、データの広さに潜んでいます。まずは、狭い視野で狭い作業を行うものから実行するのが適切です。

エージェントの活動を許可する前に、無料のRisk Ladderを使用し、その周辺のタスクを整理するためにAutomate, Assist, Escalateを使用してください。これら8つのステップはAI strategy for businessに記載されています。Collapse or Collapseでは、1人の人間が1つの成果に責任を持ち、それを達成するためにエージェントを動かすという、より詳細な議論を展開しています。

今週やるべきこと

検討しているエージェントについて、それが参照することになる顧客フィールドを書き出してください。タスクに必要のないフィールドはすべて削除してください。残りのフィールドの移行先が特定できない場合は、特定できるまで接続を停止してください。

この答えの出典

この回答は、AI for Business LeadersのThe Risk Ladderに基づいています。

御社ならではの事情もあるでしょう。ご自身の言葉で追加の質問をするには、Ask Vinay's booksをお試しください。

Vinay Pasricha は GoodSpace AI の創業者で、AI for Business Leaders をはじめ6冊の本の著者です。