Каковы риски использования ИИ-агентов, работающих с данными клиентов?

Короткий ответ: Риски заключаются в том, что агенту разрешено видеть, куда поступают эти данные, кто одобряет отправляемые им сообщения и можно ли исправить ошибку. Назовите эти четыре фактора до того, как подключите запись клиента. Беглость речи не является средством контроля.

Я — Vinay Pasricha. Я руковожу компанией GoodSpace AI в Noida и написал книгу AI for Business Leaders. Данные клиентов — это топливо, которое люди хотят залить в агента, ведь ответы становятся лучше, когда агент «знает клиента». Но именно из-за более точных ответов конфиденциальный факт может покинуть компанию в предложении, которое никто не проверял.

Что идет не так

Агент сообщает факт не тому человеку, потому что сессия, личность или промпт были неточными. Он отправляет личные данные клиента модели или вендору, которых вы не планировали привлекать. Он сохраняет переписку в месте, где ваша собственная команда не может выполнить поиск или удаление. Он составляет черновик ответа, в котором путает двух клиентов. Ничто из этого не требует громкого взлома. Для этого достаточно агента, который видит больше, чем нужно для задачи, и команды, которая не обратила на это внимания.

Второй тип отказа тише. Люди копируют данные экспорта в чат-инструмент, чтобы «просто получить краткое содержание», в обход любого одобренного вами агента. В этом случае риск заключается не в самом проекте, который вы оценивали, а в пути его обхода. Политика, определяющая разрешенный инструмент и указывающая, что категорически нельзя копировать, является частью контроля. Risk Ladder — это то, как вы определяете уровень. Политика — это то, как этот уровень выдерживает столкновение с загруженным рабочим днем.

Существует также вопрос обучения моделей. Вы должны знать, используются ли слова клиента для улучшения модели, которую вы не контролируете. Если вы не можете получить четкий ответ, исходите из того, что вам не нужны данные этого клиента в инструменте, и держите их на своей стороне границы. Не заполняйте этот пробел догадками, называя это проверкой.

Четыре меры контроля перед подключением

• See: поля, которые необходимы для задачи, и ничего больше. Баланс, тикет, статус заказа. Не вся запись целиком только потому, что ее было проще экспортировать.
• Go: конкретные системы, в которые могут поступать данные. Если поставщик не может их перечислить, не подключайтесь.
• Approve: человек отправляет все, что будет читать клиент, пока уровень риска и доказательства не укажут на обратное.
• Отменить: вы можете найти то, что было отправлено, удалить то, что сохранили, и рассказать клиенту о случившемся. Если вы не можете это найти, вы не сможете это отменить.

Оцените уровень использования. Черновик, который никогда не выходит за пределы компании, относится к более низкому уровню риска, чем агент, отвечающий самостоятельно. Меры контроля должны меняться в зависимости от уровня. Компания, использующая один и тот же контроль для каждого агента, ничего не оценивала. Она просто купила готовое решение по умолчанию.

Прочитайте ответ вендора о хранении данных простыми словами. Как долго хранятся промты. Кто у вендора имеет к ним доступ. Что вы делаете, когда клиент просит их удалить. Если ответы представляют собой ссылку на политику, которую никто в вашей компании не читал, контроль еще не внедрен. Поручите кому-нибудь прочитать ее и записать эти четыре строчки своими словами.

Что небольшая компания может сделать прямо сейчас

Для старта вам не нужна масштабная программа. Вам нужны четыре строчки на листе бумаги, который действительно видели люди, работающие с клиентскими данными. Не допускайте попадания данных клиентов в любые инструменты, которых нет на этой странице. Анализируйте по одному агенту в месяц, а не все инструменты на рынке сразу.

Если для выполнения небольшой задачи проекту требуется вся история клиента, сузьте задачу. Риск кроется в объеме данных, а не только в «интеллекте» агента. Узкая задача с ограниченным доступом к данным — это то, что нужно запускать в первую очередь.

Используйте бесплатный инструмент Risk Ladder до того, как агенту будет разрешено действовать, и схему Automate, Assist, Escalate, чтобы распределить задачи вокруг него. Эти восемь шагов описаны в AI strategy for business. Книга Collapse or Collapse предлагает более развернутый аргумент: один человек отвечает за один результат и управляет агентами для его достижения.

Одно дело на эту неделю

Для агента, которого вы рассматриваете, составьте список полей клиента, которые он будет видеть. Вычеркните каждое поле, которое не требуется для выполнения задачи. Если вы не можете сказать, куда направляются оставшиеся поля, приостановите подключение до тех пор, пока не выясните это.

Откуда этот ответ

Этот ответ опирается на главу The Risk Ladder в книге AI for Business Leaders.

У вашей компании будут свои особенности. Чтобы задать уточняющий вопрос своими словами, попробуйте сервис Ask Vinay's books.

Vinay Pasricha — основатель GoodSpace AI и автор шести книг, среди которых AI for Business Leaders.