고객 데이터를 사용하는 AI 에이전트의 위험은 무엇인가?

요약: 위험 요소는 에이전트가 보도록 허용된 것, 그 데이터가 어디로 가는지, 에이전트가 보내는 내용을 누가 승인하는지, 그리고 실수를 되돌릴 수 있는지 여부입니다. 고객 기록을 연결하기 전에 이 네 가지를 명시하십시오. 유창함은 통제 수단이 아닙니다.

저는 Vinay Pasricha입니다. Noida에서 GoodSpace AI를 운영하고 있으며, AI for Business Leaders를 집필했습니다. 고객 데이터는 사람들이 에이전트에 주입하고 싶어 하는 연료인데, 에이전트가 "고객을 알 때" 답변이 더 나아지기 때문입니다. 하지만 더 나은 답변은 아무도 검토하지 않은 문장을 통해 개인적인 사실이 회사 외부로 유출되는 경로가 되기도 합니다.

무엇이 잘못되는가

세션, 신원 또는 프롬프트가 불명확하여 에이전트가 잘못된 사람에게 사실을 반복합니다. 포함할 의도가 없었던 모델이나 벤더에게 고객의 세부 정보를 전송합니다. 귀하의 팀이 검색하거나 삭제할 수 없는 곳에 대화 내용을 저장합니다. 두 고객의 정보를 혼동하여 답변 초안을 작성합니다. 이러한 문제 중 어느 것도 극적인 보안 침해를 필요로 하지 않습니다. 단지 에이전트가 작업에 필요한 것보다 더 많은 것을 볼 수 있고, 팀이 이를 살펴보지 않았을 때 발생합니다.

두 번째 실패는 더 조용히 일어납니다. 직원들은 여러분이 승인한 에이전트를 벗어나, "그저 요약만 받기 위해" 채팅 도구에 내보낸 데이터를 붙여넣습니다. 이때 위험은 여러분이 평가한 프로젝트 자체에 있는 것이 아닙니다. 프로젝트를 우회하는 경로에 있습니다. 승인된 도구를 지정하고, 절대 붙여넣어서는 안 되는 것을 명시하는 정책이 통제 조치의 일부가 됩니다. Risk Ladder는 여러분이 단계를 결정하는 방법입니다. 정책은 그 단계가 바쁜 오후 업무 시간에도 무너지지 않고 유지되도록 하는 방법입니다.

교육 데이터 활용에 관한 문제도 있습니다. 고객의 단어가 여러분이 통제하지 않는 모델을 개선하는 데 사용되는지 여부를 파악해야 합니다. 명확한 답변을 얻을 수 없다면, 해당 고객의 데이터를 도구에 넣고 싶지 않다고 가정하고 데이터를 여러분의 경계 안쪽에 유지하십시오. 막연한 추측으로 공백을 채우고 그것을 검토라고 불러서는 안 됩니다.

연결 전, 네 가지 통제 조치

• 보여주기(See): 작업에 필요한 필드만 보여주고, 그 외에는 아무것도 보여주지 마십시오. 잔액, 티켓, 주문 상태 등이 이에 해당합니다. 내보내기가 더 쉽다는 이유로 전체 기록을 제공해서는 안 됩니다.
• 이동하기(Go): 데이터가 들어갈 수 있는 지정된 시스템을 명시하십시오. 공급업체가 이를 나열하지 못한다면 연결하지 마십시오.
• 승인하기(Approve): 단계와 그 근거가 명확해질 때까지는, 고객이 읽게 될 모든 내용을 사람이 직접 확인하고 전송하십시오.
• 되돌리기(Undo): 무엇이 전송되었는지 찾아내고, 저장된 내용을 삭제하며, 고객에게 무슨 일이 일어났는지 설명할 수 있어야 합니다. 찾을 수 없다면 되돌릴 수도 없습니다.

사용 수준을 평가하세요. 외부로 유출되지 않는 초안은 스스로 답변하는 에이전트보다 낮은 등급에 속합니다. 통제 장치는 등급에 따라 달라져야 합니다. 모든 에이전트에 동일한 통제 장치 하나만 사용하는 기업은 아무것도 평가하지 않은 것입니다. 그저 기본값을 구매했을 뿐입니다.

보관 기간에 대한 협력업체의 답변을 쉬운 글로 읽어보세요. 프롬프트는 얼마나 오래 보관되는지, 협력업체의 누가 이를 열어볼 수 있는지, 고객이 삭제를 요청할 때 어떻게 해야 하는지 확인하세요. 만약 답변이 기업 내 누구도 읽지 않은 정책 링크로만 되어 있다면, 통제 장치는 아직 마련되지 않은 것입니다. 누군가에게 그것을 읽게 하고, 여러분만의 언어로 네 줄짜리 요약을 작성하도록 하세요.

소규모 기업이 지금 할 수 있는 일

시작하기 위해 거창한 프로그램이 필요하지는 않습니다. 고객 데이터를 다루는 직원들이 실제로 확인한 한 페이지짜리 네 줄의 지침만 있으면 됩니다. 그 페이지에 없는 도구에는 고객 데이터가 들어가지 않도록 하세요. 시장의 모든 도구를 검토하려 하지 말고, 한 달에 하나의 에이전트만 검토하세요.

만약 어떤 프로젝트가 작은 작업을 수행하기 위해 고객의 전체 이력을 필요로 한다면, 작업 범위를 좁히세요. 리스크는 에이전트의 똑똑함뿐만 아니라 데이터의 폭에서도 발생합니다. 좁은 시야를 가진 좁은 범위의 작업을 가장 먼저 실행해야 합니다.

에이전트가 작동하도록 허용하기 전에 무료 Risk Ladder를 사용하고, 그 주변의 작업들을 분류하기 위해 Automate, Assist, Escalate를 활용하세요. 이 여덟 단계는 AI strategy for business에 나와 있습니다. Collapse or Collapse는 한 사람이 하나의 결과를 책임지고 이를 달성하기 위해 에이전트를 가동한다는 더 확장된 논지를 담고 있습니다.

이번 주에 할 일 하나

도입하려는 에이전트가 보게 될 고객 필드를 목록으로 작성해 보십시오. 작업에 필요하지 않은 모든 필드는 지우십시오. 남은 필드들이 어디로 가는지 명확히 설명할 수 없다면, 설명할 수 있을 때까지 연결을 중단하십시오.

이 답의 출처

이 답변은 AI for Business Leaders의 The Risk Ladder를 바탕으로 작성되었습니다.

귀사만의 구체적인 상황이 있을 것입니다. 여러분의 언어로 후속 질문을 던지려면 Ask Vinay's books를 이용해 보세요.

Vinay Pasricha는 GoodSpace AI의 창업자이자, AI for Business Leaders를 포함해 여섯 권의 책을 쓴 저자입니다.