Quais são os riscos dos agentes de IA que utilizam dados de clientes?

Resposta curta: Os riscos são o que o agente tem permissão para ver, para onde esses dados vão, quem aprova tudo o que ele envia e se um erro pode ser desfeito. Nomeie os quatro antes de conectar um registro de cliente. A fluência não é um controle.

Eu sou Vinay Pasricha. Eu lidero a GoodSpace AI em Noida e escrevi AI for Business Leaders. Os dados dos clientes são o combustível que as pessoas querem colocar em um agente, porque as respostas ficam melhores quando o agente "conhece o cliente". Respostas melhores também são a forma pela qual um fato privado sai da empresa em uma frase que ninguém revisou.

O que dá errado

O agente repete um fato para a pessoa errada, porque a sessão, a identidade ou o prompt estava confuso. Ele envia um detalhe de um cliente para um modelo ou um fornecedor que você não tinha a intenção de incluir. Ele armazena uma conversa em um local que a sua própria equipe não consegue pesquisar ou excluir. Ele redige uma resposta que mistura dois clientes. Nenhum desses casos exige uma violação dramática. Eles exigem um agente que consegue ver mais do que a tarefa precisa e uma equipe que não prestou atenção.

Um segundo fracasso é mais silencioso. As pessoas colam exportações em uma ferramenta de chat para "apenas obter o resumo", fora de qualquer agente que você tenha aprovado. O risco, então, não é o projeto que você avaliou. É o caminho em torno dele. Uma política que nomeia a ferramenta aprovada, e diz o que nunca deve ser colado, é parte do controle. O Risk Ladder é como você decide o nível. A política é como o nível sobrevive ao contato com uma tarde movimentada.

Há também a questão do treinamento. Você deve saber se as palavras de um cliente são usadas para melhorar um modelo que você não controla. Se não conseguir obter uma resposta clara, assuma que não deseja os dados desse cliente na ferramenta, e mantenha os dados do seu lado da linha. Não preencha a lacuna com um palpite e chame isso de uma revisão.

Quatro controles, antes da conexão

• See: os campos de que a tarefa precisa, e nada mais. Um saldo, um tíquete, um status de pedido. Não o registro inteiro porque era mais fácil de exportar.
• Go: os sistemas nomeados em que os dados podem entrar. Se um fornecedor não puder listá-los, não conecte.
• Approve: uma pessoa envia qualquer coisa que um cliente vá ler, até que o nível e as evidências digam o contrário.
• Desfazer: você pode encontrar o que foi enviado, apagar o que armazenou e dizer ao cliente o que aconteceu. Se você não conseguir encontrar, não poderá desfazer.

Classifique o uso. Um rascunho que nunca sai da empresa pertence a um nível inferior do que um agente que responde por si só. Os controles devem mudar de acordo com o nível. Uma empresa que usa um único controle para todo agente não classificou nada. Ela comprou um padrão.

Leia a resposta do fornecedor sobre retenção em linguagem simples. Por quanto tempo os prompts são mantidos. Quem no fornecedor pode abri-los. O que você faz quando um cliente pede para excluí-los. Se as respostas forem um link para uma política que ninguém na sua empresa leu, o controle ainda não está em vigor. Peça para alguém ler e escreva as quatro linhas com suas próprias palavras.

O que uma pequena empresa pode fazer agora

Você não precisa de um grande programa para começar. Você precisa das quatro linhas em uma página que as pessoas que lidam com dados de clientes realmente tenham visto. Mantenha os dados dos clientes fora de qualquer ferramenta que não esteja nessa página. Revise um agente por mês, não todas as ferramentas do mercado.

Se um projeto precisa de todo o histórico do cliente para fazer um trabalho pequeno, restrinja o trabalho. O risco reside na amplitude dos dados, não apenas na inteligência do agente. Um trabalho estreito com uma visão estreita é o que deve ser executado primeiro.

Use o Risk Ladder gratuito antes de permitir que o agente aja, e o Automate, Assist, Escalate para organizar as tarefas ao redor dele. Os oito passos estão em AI strategy for business. Collapse or Collapse é o argumento mais longo: uma pessoa é dona de um resultado e executa agentes para entregá-lo.

Uma coisa para fazer esta semana

Para o agente que você está considerando, liste os campos de clientes que ele veria. Risque todos os campos que a tarefa não necessita. Se você não puder dizer para onde vão os campos restantes, interrompa a conexão até que possa.

De onde vem esta resposta

Esta resposta baseia-se em The Risk Ladder em AI for Business Leaders.

Sua empresa terá seus próprios detalhes. Para fazer uma pergunta de acompanhamento com suas próprias palavras, tente Ask Vinay's books.

Vinay Pasricha é o fundador da GoodSpace AI e autor de seis livros, entre eles AI for Business Leaders.