您如何衡量 AI 智能体的 ROI？

Short answer: 选择一个您已经在追踪的数字，记录下引入智能体之前的数值，并设定一个决定扩大规模、修正或停止的日期。切勿公布未经衡量的投资回报。没有基线的百分比只是口号。

我是 Vinay Pasricha。我在诺伊达（Noida）运营 GoodSpace AI，并撰写了 AI for Business Leaders。我不会为您提供一个印度智能体（agents）的具体回报率数字。我没有测量过您的数据，而借用一个百分比也只是虚构。以下是我取而代之所使用的方法。

三个层级，一个数字

书中将 AI 带来的收益分为效率（efficiency）、效果（effectiveness）和优势（advantage）。效率是指用更少的精力完成一项任务。效果是指同一项任务做得更好：更少的错误，更快得到正确答案。优势则是竞争对手在下个季度无法复制的收益，通常因为它存在于您专属的记忆和工作方式之中。

大多数智能体项目应该在第一或第二层级进行评估。优势是更后期的诉求，而且对于租用的工具来说，这很少能成为现实。如果供应商主打优势，请问他们您的业务中哪个数据发生了变化，基线又是多少。如果他们说不出来，那他们就是在讲故事。

一个数字就是一种纪律。“节省的时间”不是一个数字，除非您说出是谁的时间、在哪个任务上、与哪一周相比。“更好的服务”也不是一个数字，除非您说出是哪些回复、如何评估。选择一个您已经产出的计数：已处理的发票、已发送的报价、重新打开的工单、某个职位空缺的天数。新仪表板往往是逃避测量的一种方式。

是一份宪章，而非一种感觉

• 基准线： 智能体介入工作前四周的数据。请在开始前记录，而不是在结束后。
• 智能体的数据： 智能体投入使用后，在同样类型的周期内统计的相同数据。
• 显性成本： 账单金额，加上指定人员进行检查所花费的时间。时间也是成本。一个占用经理整个下午的免费工具绝非免费。
• 决策日期： 决定扩大规模、修正还是停止。将其写在日程表上。没有终点的试点项目最终会变成形同虚设的摆设。

附录中提供了试点章程和投资回报率（ROI）计算器作为空白工具。它们不包含针对贵公司的现成结果。请用您的基准线填满它们。宁可让单元格空着，也不要填入凭空想象的期望。

关注失败次数要像关注成功次数一样仔细。一个虽然提高了工作速度却使返工量翻倍的智能体，并没有带来投资回报。请将返工情况与核心指标记录在同一页面上，否则核心指标会误导您。

什么不应该计入

不要计入演示任务。不要将某人悄悄在智能体旁完成工作、而你却记录了该智能体名字的一周计入。不要将此项目与另一个项目进行平均，以得出公司整体的回报。单一数字的意义在于，你可以站在它面前并对它进行解释。

如果数字没有变化，那也是一种结果。停下来，或者修正记忆和任务，然后重新运行相同的数字。不要因为第一个数字不方便而改变它。改变数字是飞行员不干活也能生存下去的方式。

在允许代理行动之前，先使用免费的 Risk Ladder，并使用 Automate, Assist, Escalate 来整理其周边的任务。具体八个步骤在 AI strategy for business 中。 Collapse or Collapse 则是更长篇幅的论证：由一个人承担一个结果，并运行代理来实现它。

本周要做的一件事

选择好数字。在纸上写下上个月的数据，并注明来源：哪份报告，哪个人。如果你找不到上个月的数据，说明你还无法衡量回报。先建立起统计机制。智能体可以等上一周。

这个回答的出处

本解答参考了 AI for Business Leaders 中的 Three Levels of AI Strategy 和 Appendices: readiness audit and pilot charter。

您的公司会有其自身的具体情况。若要用您自己的话提出后续问题，请尝试 Ask Vinay's books。

Vinay Pasricha 是 GoodSpace AI 的创始人，著有六本书，其中包括 AI for Business Leaders。