AIエージェントのROIはどのように測定しますか？

短い回答: すでに追跡している数値を1つ選び、エージェント導入前の数値を書き留め、拡大、修正、または停止を行う日付を設定します。測定していないリターンを公表してはいけません。基準値のないパーセンテージは単なるスローガンです。

私はVinay Pasrichaです。NoidaでGoodSpace AIを経営しており、AI for Business Leadersを執筆しました。インドにおけるエージェントの投資回収率（リターン）を具体的な数字でお示しするつもりはありません。皆様のビジネスを測定したわけではありませんし、他から借りてきたパーセンテージは作り話にすぎないからです。その代わりに、私が実践している手法を以下にご紹介します。

3つのレベル、1つの数字

本書では、AIがもたらす成果を「効率性」「有効性」「優位性」の3つに分類しています。効率性とは、より少ない労力でタスクを完了することです。有効性とは、同じタスクをより高い精度で行うこと、つまり、エラーを減らし、正しい答えをより早く導き出すことです。優位性とは、競合が次の四半期に真似できない成果のことであり、通常は自社独自の記憶や業務プロセスの中に存在します。

大半のエージェントプロジェクトは、第1または第2のレベルで評価されるべきです。優位性はもっと後の段階で主張されるものであり、レンタルしているツールで実現することは滅多にありません。もしベンダーが優位性を前面に押し出してきたら、自社のビジネスのどの数値が、どの基準値から変化したのかを尋ねてみてください。答えられないのであれば、彼らはストーリーを売っているにすぎません。

1つの数字に絞ることは、規律そのものです。「削減された時間」は、誰の、どのタスクの、いつの週と比較した時間なのかを特定するまでは、数字とは言えません。「サービスの向上」も、どの返答を、どう評価したのかを特定するまでは、数字ではありません。請求書の処理件数、見積書の送付件数、再オープンされたチケット数、求人ポジションの未充足日数など、すでに手元にある測定値を選択してください。新しいダッシュボードの作成は、測定を有耶無耶にする原因になりがちです。

感情ではなく、憲章

• ベースライン： エージェントが実務に手をつける前の4週間の数値。後からではなく、開始する前に書き留めてください。
• エージェントの数値： エージェントの使用期間中における、同種の1週間を対象とした同様の集計値。
• 目に見えるコスト： 請求書の金額に、特定の担当者が確認に費やした時間を加えたもの。時間もカウントされます。マネージャーの午後を丸々潰してしまう無料ツールは、無料ではありません。
• 意思決定の日： 拡大するか、修正するか、あるいは停止するか。カレンダーに登録しておきましょう。終わりのないパイロット版は、いつの間にかただ置かれているだけの家具になってしまいます。

付録には、パイロット憲章とROI計算ツールが空白のツールとして含まれています。これらには、あなたの会社向けの結果は入っていません。ご自身のベースラインで埋めてください。期待を書き込むくらいなら、セルは空白のままにしておきましょう。

成功数と同じくらい、慎重に失敗数を観察してください。作業をスピードアップさせても手戻りを倍増させるエージェントは、リターンを生み出しているとは言えません。手戻りの数は代表的な数値と同じページに記載してください。さもないと、その代表的な数値はあなたに嘘をつくことになります。

カウントすべきでないもの

デモ用のタスクはカウントしないでください。ある人がエージェントの横で静かに仕事をしていて、あなたがそのエージェントの名前だけを記録していたような週はカウントしないでください。企業全体の投資対効果を算出するために、このプロジェクトを別のプロジェクトと平均化しないでください。単一の数値にする意味は、あなたがその数値の傍らに立ち、それを説明できることにあります。

数値が動かなかったとしても、それ自体が結果です。作業を停止するか、記憶とタスクを修正した上で、同じ数値で再度実行してください。最初の数値が不都合だったからといって、数値を変更してはなりません。数値の変更は、パイロットが成果を上げることなく生き残るための手段になってしまいます。

エージェントの活動を許可する前に、無料のRisk Ladderを使用し、その周辺のタスクを整理するためにAutomate, Assist, Escalateを使用してください。これら8つのステップはAI strategy for businessに記載されています。Collapse or Collapseでは、1人の人間が1つの成果に責任を持ち、それを達成するためにエージェントを動かすという、より詳細な議論を展開しています。

今週やるべきこと

数値を選択してください。先月の数値を、どのレポートから、誰から得たのかという情報源とともに、紙に書き出してください。先月の数値が見つからない場合は、まだ投資対効果を測定することはできません。まずはカウントの仕組みを構築してください。エージェントは1週間待つことができます。

この答えの出典

この回答は、AI for Business LeadersのThree Levels of AI StrategyおよびAppendices: readiness audit and pilot charterに基づいています。

御社ならではの事情もあるでしょう。ご自身の言葉で追加の質問をするには、Ask Vinay's booksをお試しください。

Vinay Pasricha は GoodSpace AI の創業者で、AI for Business Leaders をはじめ6冊の本の著者です。