¿Cuáles son los riesgos de los agentes de IA que utilizan datos de clientes?

Respuesta corta: Los riesgos son lo que el agente tiene permitido ver, a dónde van esos datos, quién aprueba cualquier cosa que envíe y si se puede deshacer un error. Nombre los cuatro antes de conectar un registro de cliente. La fluidez no es un control.

Soy Vinay Pasricha. Dirijo GoodSpace AI en Noida y escribí AI for Business Leaders. Los datos de los clientes son el combustible que la gente quiere verter en un agente, porque las respuestas mejoran cuando el agente "conoce al cliente". Las mejores respuestas son también el canal por el cual un dato privado sale de la empresa en una frase que nadie revisó.

Qué sale mal

El agente repite un dato a la persona equivocada, porque la sesión, la identidad o la instrucción eran confusas. Envía un detalle de un cliente a un modelo o a un proveedor que usted no tenía intención de incluir. Almacena una conversación en un lugar que su propio equipo no puede buscar ni eliminar. Redacta una respuesta que mezcla a dos clientes. Ninguno de estos casos requiere una brecha de seguridad dramática. Requieren un agente que pueda ver más de lo que la tarea necesita, y un equipo que no prestó atención.

Un segundo fallo es más silencioso. La gente pega exportaciones en una herramienta de chat para "solo obtener el resumen", fuera de cualquier agente que usted haya aprobado. El riesgo entonces no es el proyecto que usted calificó. Es el camino para eludirlo. Una política que nombre la herramienta aprobada, y que diga qué es lo que nunca se debe pegar, forma parte del control. La Risk Ladder es la forma en que decide el nivel. La política es la forma en que el nivel sobrevive al contacto con una tarde ocupada.

También está la cuestión de la capacitación. Debe saber si las palabras de un cliente se utilizan para mejorar un modelo que usted no controla. Si no puede obtener una respuesta clara, asuma que no desea los datos de ese cliente en la herramienta, y mantenga los datos de su lado de la línea. No llene el vacío con una suposición y lo llame una revisión.

Cuatro controles, antes de la conexión

• Ver: los campos que la tarea necesita, y nada más. Un saldo, un ticket, el estado de un pedido. No el registro completo porque era más fácil de exportar.
• Ir: los sistemas designados en los que pueden entrar los datos. Si un proveedor no puede enumerarlos, no lo conecte.
• Aprobar: una persona envía cualquier cosa que un cliente vaya a leer, hasta que el nivel y la evidencia indiquen lo contrario.
• Deshacer: puede encontrar lo enviado, borrar lo almacenado y comunicarle al cliente lo sucedido. Si no puede encontrarlo, no puede deshacerlo.

Clasifique el uso. Un borrador que nunca sale de la empresa pertenece a una categoría inferior que un agente que responde por sí mismo. Los controles deben cambiar según la categoría. Una empresa que utiliza el mismo control para cada agente no ha clasificado nada. Ha comprado una opción por defecto.

Lea la respuesta del proveedor sobre la retención en un lenguaje sencillo. Cuánto tiempo se conservan los prompts. Quién en la empresa del proveedor puede abrirlos. Qué hace usted cuando un cliente le pide que los elimine. Si las respuestas son un enlace a una política que nadie en su empresa ha leído, el control aún no está implementado. Haga que alguien la lea y escriba las cuatro líneas con sus propias palabras.

Lo que una pequeña empresa puede hacer ahora

No necesita un gran programa para empezar. Necesita las cuatro líneas en una página que las personas que manejan datos de clientes realmente hayan visto. Mantenga los datos de los clientes fuera de cualquier herramienta que no esté en esa página. Revise un agente al mes, no todas las herramientas del mercado.

Si un proyecto necesita todo el historial del cliente para hacer un trabajo pequeño, acote el trabajo. El riesgo reside en la amplitud de los datos, no solo en la astucia del agente. Un trabajo acotado con una visión acotada es el primero que debe ejecutarse.

Use la herramienta gratuita Risk Ladder antes de permitir que el agente actúe, y Automate, Assist, Escalate para ordenar las tareas a su alrededor. Los ocho pasos están en AI strategy for business. Collapse or Collapse es el argumento más largo: una sola persona es dueña de un resultado y ejecuta agentes para entregarlo.

Una cosa que hacer esta semana

Para el agente que está considerando, enumere los campos de cliente que vería. Tache cada campo que la tarea no necesite. Si no puede decir a dónde van los campos restantes, detenga la conexión hasta que pueda hacerlo.

De dónde viene esta respuesta

Esta respuesta se basa en The Risk Ladder en AI for Business Leaders.

Su empresa tendrá sus propios detalles particulares. Para hacer una pregunta de seguimiento con sus propias palabras, pruebe Ask Vinay's books.

Vinay Pasricha es el fundador de GoodSpace AI y autor de seis libros, entre ellos AI for Business Leaders.