Comment mesurez-vous le ROI d'un agent IA ?

Réponse courte : Choisissez un chiffre que vous suivez déjà, notez ce qu'il était avant l'agent, et fixez une date pour passer à l'échelle, corriger ou arrêter. Ne publiez pas un retour que vous n'avez pas mesuré. Un pourcentage sans référence de départ n'est qu'un slogan.

Je m'appelle Vinay Pasricha. Je dirige GoodSpace AI à Noida, et j'ai écrit AI for Business Leaders. Je ne vais pas vous donner un chiffre de rentabilité pour les agents en Inde. Je n'ai pas mesuré le vôtre, et un pourcentage emprunté serait une fiction. La méthode ci-dessous est celle que j'utilise à la place.

Trois niveaux, un chiffre

Le livre sépare les gains de l'IA en efficacité, efficacité opérationnelle et avantage concurrentiel. L'efficacité est une tâche réalisée avec moins d'effort. L'efficacité opérationnelle est la même tâche mieux réalisée : moins d'erreurs, une réponse correcte plus rapide. L'avantage est un gain qu'un rival ne peut pas copier le trimestre suivant, généralement parce qu'il repose sur votre propre mémoire et votre propre façon de travailler.

La plupart des projets d'agents doivent être évalués au premier ou au deuxième niveau. L'avantage est une promesse ultérieure, et elle est rarement vraie pour un outil que vous louez. Si un fournisseur met l'accent sur l'avantage, demandez quel chiffre a bougé dans votre entreprise, et par rapport à quelle référence. S'il ne peut pas le dire, il vous vend une histoire.

Un seul chiffre est une discipline. Le « temps gagné » n'est pas un chiffre tant que vous ne dites pas le temps de qui, sur quelle tâche, par rapport à quelle semaine. Un « meilleur service » n'est pas un chiffre tant que vous ne précisez pas quelles réponses, évaluées comment. Choisissez un indicateur que vous produisez déjà : factures traitées, devis envoyés, tickets réouverts, jours où un poste est resté vacant. Les nouveaux tableaux de bord sont le meilleur moyen d'éviter de mesurer.

Une charte, pas un sentiment

• Référence : le chiffre pour les quatre semaines précédant l'intervention de l'agent. Notez-le avant de commencer, pas après.
• Le chiffre de l'agent : le même décompte, sur le même type de semaine, pendant que l'agent est utilisé.
• Le coût visible : la facture, plus les heures qu'une personne désignée a passées à vérifier. Les heures comptent. Un outil gratuit qui dévore l'après-midi d'un manager n'est pas gratuit.
• La date de décision : déployer, corriger ou arrêter. Inscrivez-la dans un calendrier. Un pilote sans fin devient un meuble de bureau.

Les annexes incluent une charte de pilote et un calculateur de ROI sous forme d'outils vierges. Ils ne contiennent pas de résultat pour votre entreprise. Remplissez-les avec votre référence. Laissez une cellule vide plutôt que d'y inscrire un espoir.

Surveillez le nombre d'échecs aussi attentivement que le nombre de réussites. Un agent qui accélère le travail mais double les corrections n'a pas généré de retour sur investissement. Placez les corrections sur la même page que le chiffre principal, sinon ce chiffre vous mentira.

Ce qu'il ne faut pas compter

Ne comptez pas les tâches de démonstration. Ne comptez pas une semaine au cours de laquelle une personne a discrètement fait le travail à côté de l'agent et où vous avez enregistré le nom de l'agent. Ne faites pas la moyenne de ce projet avec un autre pour obtenir un rendement à l'échelle de l'entreprise. L'intérêt d'un chiffre unique est que vous pouvez le soutenir et l'expliquer.

Si le chiffre n'a pas bougé, c'est un résultat. Arrêtez, ou corrigez la mémoire et la tâche, et relancez le même chiffre. Ne changez pas de chiffre parce que le premier n'était pas pratique. Changer de chiffre est la façon dont les pilotes survivent sans travailler.

Utilisez l'outil gratuit Risk Ladder avant de laisser l'agent agir, et Automate, Assist, Escalate pour organiser les tâches autour de lui. Les huit étapes se trouvent dans AI strategy for business. Collapse or Collapse développe l'argument plus en détail : une seule personne est responsable d'un résultat et pilote des agents pour l'atteindre.

Une chose à faire cette semaine

Choisissez le chiffre. Écrivez le chiffre du mois dernier sur papier, avec la source : quel rapport, quelle personne. Si vous ne trouvez pas le chiffre du mois dernier, vous ne pouvez pas encore mesurer de rendement. Établissez d'abord le décompte. L'agent peut attendre une semaine.

D'où vient cette réponse

Cette réponse s'inspire de Three Levels of AI Strategy et de Appendices: readiness audit and pilot charter dans AI for Business Leaders.

Votre entreprise aura ses propres spécificités. Pour poser une question complémentaire avec vos propres mots, essayez Ask Vinay's books.

Vinay Pasricha est le fondateur de GoodSpace AI et l'auteur de six livres, dont AI for Business Leaders.