Как измерить ROI ИИ-агента?

Короткий ответ: Выберите один показатель, который вы уже отслеживаете, запишите, каким он был до внедрения агента, и установите дату, когда вы масштабируете, доработаете или остановите проект. Не публикуйте показатели возврата инвестиций, которые вы не измерили. Процент без базовой линии — это просто лозунг.

Я — Винай Пасрича (Vinay Pasricha). Я руковожу компанией GoodSpace AI в Ноиде и написал книгу AI for Business Leaders. Я не собираюсь называть вам конкретную цифру окупаемости агентов в Индии. Я не оценивал ваши показатели, а заимствованный процент будет вымыслом. Вместо этого я использую метод, описанный ниже.

Три уровня, одно число

В книге выигрыш от внедрения ИИ разделяется на эффективность, результативность и преимущество. Эффективность — это задача, выполненная с меньшими усилиями. Результативность — это та же задача, выполненная лучше: меньше ошибок, более быстрый правильный ответ. Преимущество — это выгода, которую конкурент не сможет скопировать в следующем квартале, обычно потому, что она заложена в вашей собственной памяти и вашем собственном стиле работы.

Большинство проектов с агентами следует оценивать на первом или втором уровне. Преимущество — это более позднее заявление, и оно редко применимо к инструменту, который вы арендуете. Если вендор начинает с обещания преимуществ, спросите, какой именно показатель в вашем бизнесе изменился и по сравнению с каким базовым уровнем. Если они не могут ответить, они продают вам красивую историю.

Одно число — это дисциплина. «Сэкономленное время» не является числом, пока вы не укажете, чье именно время, на какой задаче и по сравнению с какой неделей. «Улучшение сервиса» не является числом, пока вы не укажете, какие именно ответы и по каким критериям оценивались. Выберите тот показатель, который вы уже рассчитываете: обработанные счета, отправленные коммерческие предложения, повторно открытые тикеты, количество дней, в течение которых вакансия оставалась открытой. Создание новых дашбордов — это способ избежать реальных измерений.

Хартия, а не предчувствие

• Базовый уровень: показатель за четыре недели до того, как агент приступил к работе. Запишите его до начала работы, а не после.
• Показатель агента: то же значение за аналогичную неделю в период использования агента.
• Видимые затраты: счет на оплату плюс часы конкретного сотрудника, потраченные на проверку. Часы имеют значение. Бесплатный инструмент, отнимающий у руководителя полдня, не является бесплатным.
• Дата принятия решения: масштабировать, доработать или остановить. Внесите ее в календарь. Пилотный проект без конечного срока становится частью интерьера.

Приложения включают в себя устав пилотного проекта и калькулятор ROI в качестве пустых шаблонов. Они не содержат готовых результатов для вашей компании. Заполните их вашими базовыми показателями. Лучше оставьте ячейку пустой, чем вписывать туда надежды.

Следите за количеством сбоев так же внимательно, как и за количеством успехов. Агент, который ускоряет работу, но удваивает количество переделок, не приносит отдачи. Поместите данные о переделках на ту же страницу, что и ключевой показатель, иначе этот показатель введет вас в заблуждение.

Что не следует учитывать

Не учитывайте демо-задачи. Не учитывайте неделю, когда человек тихо выполнял работу рядом с агентом, а вы записывали имя агента. Не усредняйте этот проект с другим, чтобы получить общую доходность по компании. Суть одной цифры в том, что вы можете уверенно отстаивать и объяснять её.

Если показатель не изменился, это тоже результат. Остановитесь или исправьте память и задачу, а затем запустите тот же показатель снова. Не меняйте показатель только потому, что первый оказался неудобным. Изменение показателей — это то, как пилоты выживают без реальной работы.

Используйте бесплатный инструмент Risk Ladder до того, как агенту будет разрешено действовать, и схему Automate, Assist, Escalate, чтобы распределить задачи вокруг него. Эти восемь шагов описаны в AI strategy for business. Книга Collapse or Collapse предлагает более развернутый аргумент: один человек отвечает за один результат и управляет агентами для его достижения.

Одно дело на эту неделю

Выберите показатель. Запишите данные за прошлый месяц на бумаге с указанием источника: какой отчет, какой человек. Если вы не можете найти цифру за прошлый месяц, вы пока не можете измерить возврат инвестиций. Сначала наладьте учет. Агент может подождать неделю.

Откуда этот ответ

Этот ответ опирается на главы Three Levels of AI Strategy и Appendices: readiness audit and pilot charter в книге AI for Business Leaders.

У вашей компании будут свои особенности. Чтобы задать уточняющий вопрос своими словами, попробуйте сервис Ask Vinay's books.

Vinay Pasricha — основатель GoodSpace AI и автор шести книг, среди которых AI for Business Leaders.