智能体使用客户数据有哪些风险？

简短回答： 风险在于允许智能体看到什么、这些数据的去向、谁来审批它发送的任何内容，以及错误是否可以撤销。在接入客户记录之前，请先明确这四点。语言流利并不等同于安全管控。

我是 Vinay Pasricha。我在诺伊达（Noida）运营 GoodSpace AI，并撰写了 AI for Business Leaders。客户数据是人们想要注入智能体的燃料，因为当智能体“了解客户”时，回答会变得更好。然而，更优质的回答，也正是私密事实在未经任何人审核的句子中流出公司的方式。

哪里会出错

智能体向错误的人重复了某个事实，因为会话、身份或提示词含混不清。它将客户的详细信息发送给了您本无意引入的模型或供应商。它将对话存储在您自己的团队无法搜索或删除的地方。它起草了一份混淆了两位客户的回复。这些都不需要发生戏剧性的安全漏洞。它们只需要一个能看到超出任务所需内容的智能体，以及一个没有进行审查的团队。

第二种失败更为隐蔽。人们将导出数据粘贴到聊天工具中，以“仅获取摘要”，而这超出了您批准的任何 Agent 范围。此时的风险不在于您评估的项目，而在于绕过它的路径。一项指明批准工具并说明绝不能粘贴什么内容的策略，是控制措施的一部分。Risk Ladder 是您决定级别的依据，而策略则是该级别如何在忙碌的下午应对实际考验的保障。

还有培训方面的问题。您应该了解客户的话语是否被用于改进您无法控制的模型。如果无法获得明确的答复，请假设您不希望将该客户的数据输入该工具，并将数据保留在您这边的界线内。不要用猜测来填补空白，并将其称为审查。

连接前的四项控制

• 查看： 仅限任务所需的字段，而非其他。一个余额、一个工单、一个订单状态。不能因为导出更方便，就查看整条记录。
• 去向： 数据可以进入的指定系统。如果供应商无法列出这些系统，请勿连接。
• 批准： 在级别和证据另有说明之前，由专人发送客户将阅读的所有内容。
• 撤销：您可以找到已发送的内容，删除您存储的内容，并告知客户发生了什么。如果您找不到它，就无法撤销它。

对使用场景进行分级。一份从未离开过公司的草稿，其风险级别要低于一个自动回复的智能体。控制措施应当随着级别的不同而变化。如果一家公司对每个智能体都使用相同的控制措施，说明它没有进行任何分级，只是购买了默认配置。

用通俗易懂的语言阅读供应商关于数据留存的解答。提示词会被保留多久？供应商的哪些人员可以查看它们？当客户要求您删除这些数据时，您该怎么做？如果这些解答只是指向一份贵公司无人阅读过的政策链接，那么该控制措施尚未落实。请让人阅读该政策，并用您自己的话写下这四行核心内容。

小公司现在可以做些什么

您不需要一个庞大的项目来启动。您只需要在一个接触客户数据的员工确实看过的页面上，写下这四行核心内容。不要将客户数据输入任何未记录在该页面上的工具中。每月评估一个智能体，而不是去评估市场上的每一个工具。

如果一个项目需要全部客户历史记录来完成一项微小的工作，请缩小该工作的范围。风险存在于数据的宽度中，而不仅仅在于智能体的聪明程度。一个视野狭窄、任务具体的简单工作，才是最应该首先运行的。

在允许代理行动之前，先使用免费的 Risk Ladder，并使用 Automate, Assist, Escalate 来整理其周边的任务。具体八个步骤在 AI strategy for business 中。 Collapse or Collapse 则是更长篇幅的论证：由一个人承担一个结果，并运行代理来实现它。

本周要做的一件事

针对您正在考虑的智能体，列出它将接触到的客户数据字段。划掉该任务不需要的每一个字段。如果您无法确定剩余字段的流向，请暂停该连接，直到您能够确定为止。

这个回答的出处

本回答参考了 AI for Business Leaders 中的 The Risk Ladder。

您的公司会有其自身的具体情况。若要用您自己的话提出后续问题，请尝试 Ask Vinay's books。

Vinay Pasricha 是 GoodSpace AI 的创始人，著有六本书，其中包括 AI for Business Leaders。