AI 에이전트의 ROI는 어떻게 측정하나요?

짧은 답변: 이미 추적하고 있는 지표 한 가지를 선택하고, 에이전트 도입 이전의 수치를 기록한 뒤, 규모를 확장하거나 수정하거나 중단할 날짜를 정하십시오. 실제로 측정하지 않은 수익률은 발표하지 마십시오. 기준점 없는 백분율은 슬로건에 불과합니다.

저는 Vinay Pasricha입니다. 인도 Noida에서 GoodSpace AI를 운영하고 있으며, AI for Business Leaders를 집필했습니다. 저는 인도 내 에이전트의 구체적인 수익률 수치를 제시하지 않을 것입니다. 귀사의 수치를 직접 측정한 적이 없으며, 다른 곳에서 빌려온 비율은 허구에 불과하기 때문입니다. 대신 제가 실제로 사용하는 방법을 아래에 소개해 드립니다.

세 가지 단계, 하나의 숫자

이 책에서는 AI를 통해 얻는 이점을 효율성, 효과성, 그리고 경쟁 우위의 세 단계로 구분합니다. 효율성은 더 적은 노력으로 작업을 수행하는 것입니다. 효과성은 동일한 작업을 더 잘 수행하는 것으로, 오류를 줄이고 올바른 답을 더 빠르게 찾아내는 것을 의미합니다. 경쟁 우위는 대개 귀사만의 고유한 메모리와 업무 방식에 기반하기 때문에 경쟁사가 다음 분기에 쉽게 모방할 수 없는 이점을 뜻합니다.

대부분의 에이전트 프로젝트는 첫 번째나 두 번째 단계에서 평가되어야 합니다. 경쟁 우위는 더 나중의 영역이며, 외부에서 빌려 쓰는 도구로는 거의 확보하기 어렵습니다. 만약 공급업체가 경쟁 우위를 앞세운다면, 귀사 비즈니스의 어떤 지표가 어떤 기준점(baseline)에서 얼마나 움직였는지 물어보십시오. 만약 답하지 못한다면 그들은 그저 이야기를 팔고 있는 것입니다.

하나의 숫자를 정하는 것은 규율입니다. "절약된 시간"은 누구의 시간인지, 어떤 작업인지, 어느 주간과 비교한 것인지 명시하기 전까지는 숫자가 아닙니다. "더 나은 서비스"는 어떤 답변을 어떻게 평가했는지 밝히기 전까지는 숫자가 아닙니다. 이미 집계하고 있는 수치를 선택하십시오. 처리된 송장 수, 발송된 견적서 수, 다시 열린 티켓 수, 채용 공고가 열려 있었던 기간 등이 이에 해당합니다. 새로운 대시보드를 만드는 것은 대개 측정을 회피하는 수단이 됩니다.

느낌이 아닌 합의서

• Baseline: 에이전트가 작업을 시작하기 전 4주 동안의 수치입니다. 시작한 후가 아니라 시작하기 전에 이를 기록해 두십시오.
• The agent’s number: 에이전트를 사용하는 동안, 동일한 유형의 주간에 걸쳐 측정된 동일한 수치입니다.
• The cost you can see: 청구서 금액에 담당자가 검토하는 데 보낸 시간을 더한 비용입니다. 시간도 비용입니다. 관리자의 오후 시간을 허비하게 만드는 무료 툴은 결코 무료가 아닙니다.
• The decision date: 규모 확장, 수정, 또는 중단 여부를 결정하는 날짜입니다. 달력에 이를 표시해 두십시오. 종료 기한이 없는 파일럿은 결국 가구처럼 방치됩니다.

부록에는 파일럿 헌장과 ROI 계산기가 빈 도구로 포함되어 있습니다. 여기에는 귀사에 대한 결과가 포함되어 있지 않습니다. 여러분의 baseline으로 이를 채우십시오. 막연한 희망을 입력하기보다는 차라리 빈칸으로 남겨두십시오.

성공 횟수만큼 실패 횟수도 주의 깊게 살펴보십시오. 작업 속도는 빨라졌지만 재작업을 두 배로 늘리는 에이전트는 수익을 내지 못한 것입니다. 재작업 수치를 핵심 지표와 동일한 페이지에 표시하십시오. 그렇지 않으면 핵심 지표가 당신을 속이게 될 것입니다.

세지 말아야 할 것

데모 작업은 세지 마십시오. 어떤 사람이 에이전트 옆에서 조용히 업무를 수행하고 에이전트의 이름만 기록한 그런 주는 세지 마십시오. 회사 전체의 수익률을 만들기 위해 이 프로젝트를 다른 프로젝트와 평균 내지 마십시오. 단 하나의 숫자가 의미를 갖는 이유는 그 숫자 옆에 당당히 서서 이를 설명할 수 있기 때문입니다.

숫자가 움직이지 않았다면 그것도 하나의 결과입니다. 중단하거나, 메모리와 작업을 수정한 후 동일한 숫자로 다시 실행하십시오. 첫 번째 숫자가 불편하다는 이유로 숫자를 바꾸지 마십시오. 숫자를 바꾸는 것은 파일럿 프로젝트들이 아무런 성과 없이 연명하는 방식입니다.

에이전트가 작동하도록 허용하기 전에 무료 Risk Ladder를 사용하고, 그 주변의 작업들을 분류하기 위해 Automate, Assist, Escalate를 활용하세요. 이 여덟 단계는 AI strategy for business에 나와 있습니다. Collapse or Collapse는 한 사람이 하나의 결과를 책임지고 이를 달성하기 위해 에이전트를 가동한다는 더 확장된 논지를 담고 있습니다.

이번 주에 할 일 하나

숫자를 선택하십시오. 지난달 수치를 어떤 보고서에서 가져왔는지, 어떤 사람이 제공했는지 등 출처와 함께 종이에 적으십시오. 지난달 수치를 찾을 수 없다면 아직 수익률을 측정할 수 없습니다. 측정 방식부터 먼저 구축하십시오. 에이전트는 일주일쯤 기다릴 수 있습니다.

이 답의 출처

이 답변은 AI for Business Leaders의 Three Levels of AI Strategy 및 Appendices: readiness audit and pilot charter를 바탕으로 작성되었습니다.

귀사만의 구체적인 상황이 있을 것입니다. 여러분의 언어로 후속 질문을 던지려면 Ask Vinay's books를 이용해 보세요.

Vinay Pasricha는 GoodSpace AI의 창업자이자, AI for Business Leaders를 포함해 여섯 권의 책을 쓴 저자입니다.