Mesurer ce qu'un agent d'IA rapporte vraiment après trois mois

Après trois mois, « ça va bien » ne suffit plus comme réponse. Voici cinq indicateurs, la manière de les relever et le calcul qui dit si l'agent se paie.

Trois mois après la mise en service d'un agent, posez la question à l'équipe : « Est-ce que ça vaut la peine ? » Vous obtiendrez un « oui, je pense » de la personne qui ne fait plus la saisie, et un haussement d'épaules de celle qui doit maintenant approuver des brouillons. Ni l'une ni l'autre n'a tort, et aucune des deux réponses ne vous aide à décider si vous continuez, si vous ajoutez un processus ou si vous arrêtez.

Pour décider, il faut cinq chiffres et un relevé de départ. Le relevé de départ est la partie que presque tout le monde saute.

Le relevé de départ, avant de brancher quoi que ce soit

Sans point de comparaison, n'importe quel résultat a l'air bon. Deux semaines avant la mise en service, notez pour la tâche visée : le temps que la personne y consacre (chronométré, sur une feuille posée à côté du clavier), le nombre de dossiers traités, le délai entre l'arrivée d'une demande et sa réponse, et les erreurs repérées. Deux semaines ordinaires, pas la semaine de l'inventaire.

La méthode pour transformer ces heures en dollars est détaillée dans l'article sur le coût d'une tâche répétitive. On en reprend ici le résultat : une employée payée 25 $ l'heure coûte, cotisations comprises, 30,05 $ par heure réellement travaillée.

Les cinq indicateurs

IndicateurCe qu'il mesureOù le prendre
Heures récupéréesHeures d'avant, moins les heures qui restent (vérification, questions, cas transmis)Feuille de temps d'une semaine, refaite au troisième mois
Délai de traitementTemps entre l'arrivée et la réponse ou la saisieHeures d'arrivée et d'envoi dans l'historique
ErreursCorrections faites après coup : notes de crédit, écritures renversées, courriels d'excuseLogiciel comptable et boîte d'envoi
Volume absorbéDossiers traités par mois, comparés au relevé de départHistorique de l'agent
Validation sans correctionPart des brouillons approuvés tels quelsHistorique de l'agent

Pour les heures, la colonne qu'on oublie est celle des heures qui restent. Lire le récapitulatif du matin, répondre aux questions de l'agent, traiter les cas qu'il transmet : tout ça prend du temps, et ce temps se soustrait. Un calcul qui compare « 62 heures avant » à « zéro après » est faux d'avance.

Pour le délai, prenez la médiane plutôt que la moyenne. Une seule demande oubliée pendant neuf jours fausse une moyenne mensuelle, alors que la médiane vous dit ce que vit le client ordinaire. Notez à part le pire cas du mois, parce que c'est lui dont le client se souvient.

Pour les erreurs, comptez de la même façon avant et après. Si vous comptiez les notes de crédit avant, comptez les notes de crédit après. Attention à un piège : un agent qui consigne tout rend visibles des erreurs qui passaient inaperçues. Il arrive que le nombre d'erreurs relevées monte le premier mois sans que le travail soit moins bon.

Le volume absorbé ne vaut rien les mois tranquilles. Il prend son sens le jour où les commandes augmentent de 30 % sans qu'il soit question d'embaucher ou de faire des heures supplémentaires. Notez ces mois-là.

La validation sans correction, enfin, est l'indicateur le plus simple à calculer. Si 248 brouillons sur 310 ont été approuvés tels quels le premier mois, le taux est de 80 %. Si c'est 322 sur 340 au troisième, il est de 94,7 %. Regardez surtout sa pente. Ce même taux sert à décider quand une catégorie de messages peut partir sans validation, comme l'explique l'article sur le contrôle d'un agent.

Le seuil de rentabilité, calculé

Prenons un renfort pour un seul processus à 1 100 $ par mois, un montant situé dans la fourchette publiée sur notre page tarifs. Ajoutons 60 $ de frais de plateforme d'IA, une hypothèse pour l'exemple : ces frais suivent un tarif fixe par million de jetons et dépendent du volume. Coût mensuel : 1 160 $.

À 30,05 $ l'heure, le seuil se calcule en une division. 1 160 $ divisés par 30,05 $ donnent 38,6 heures par mois. Sur 20 jours ouvrables, ça représente 1,93 heure par jour, soit à peu près 1 h 56. Si la tâche confiée occupait moins de deux heures par jour avant, les heures seules ne paieront pas l'agent. Il faudra que les erreurs évitées ou les délais raccourcis fassent le reste, ou que plusieurs tâches soient regroupées.

Voici maintenant un trimestre fictif, avec des chiffres du troisième mois.

LigneCalculPar mois
Heures avantRelevé de départ62 h
Heures qui restentVérification, questions, cas transmis11 h
Heures récupérées51 h à 30,05 $1 532,55 $
Erreurs évitées7 avant, 2 après : 5 erreurs à 62,54 $312,70 $
Gain mesuré1 845,25 $
Coût de l'agent1 100 $ plus 60 $1 160,00 $
Résultat net685,25 $

Le coût de 62,54 $ par erreur vient du même exemple que le coût horaire. Le vôtre sera différent, et vous devriez le calculer à partir de deux ou trois erreurs réelles.

Refaites ensuite le calcul avec une version moins flatteuse. Si les heures récupérées sont de 30 plutôt que de 51, le gain tombe à 1 214,20 $, à peine au-dessus du coût. C'est encore rentable sur papier, mais la marge ne résiste pas à un mois creux.

Une réserve pèse sur toute la colonne des heures. Une heure récupérée ne vaut 30,05 $ que si elle sert à autre chose. Si la personne libérée de la saisie fait maintenant les relances de soumissions que personne ne faisait, le gain existe. Si ses journées se sont simplement allégées, vous avez amélioré son quotidien, ce qui compte aussi, mais vous n'avez pas économisé 1 532 $. Écrivez donc, à côté du chiffre, à quoi les heures sont allées.

Quand ajuster

Un résultat décevant au troisième mois ne condamne pas l'agent. Certains signaux pointent vers un réglage à faire.

Prenez un taux de validation sans correction qui stagne. S'il reste autour de 80 % depuis six semaines, relisez les corrections : elles se ressemblent souvent. Une formule de politesse que vous changez à chaque fois, un type de client mal reconnu, une exception jamais écrite. Chaque famille de corrections devient une règle, et le taux remonte.

Même logique pour les cas transmis à une personne. Si un dossier sur quatre sort des règles, les règles ne couvrent pas la réalité, et la cartographie du départ est à compléter.

Surveillez aussi les heures de supervision. Onze heures par mois au troisième mois, ça se défend. Vingt-cinq, c'est que quelqu'un refait le travail derrière l'agent, et il faut comprendre pourquoi.

Chez Partheo, cinq heures d'ajustements par mois sont comprises dans la mensualité. Utilisez-les. Un renfort qu'on ne retouche jamais après la mise en service donne rarement son plein rendement.

Quand arrêter

Parfois, la bonne décision est d'arrêter, et un fournisseur honnête devrait vous aider à le voir. Voici les situations où nous le recommanderions.

Le volume était trop petit dès le départ. Une tâche de 20 minutes par jour ne franchira jamais un seuil de 38 heures par mois, peu importe la qualité de l'agent. Mieux vaut la regrouper avec d'autres ou la laisser où elle est.

Le processus a changé. Vous avez remplacé votre logiciel, perdu le client qui générait le gros des commandes ou réorganisé le service. L'agent faisait bien un travail qui n'existe plus sous cette forme.

Les ajustements n'ont rien donné. Après deux mois de corrections, le résultat net reste négatif et aucun des cinq indicateurs ne s'améliore. Les ententes au mois se résilient avec 30 jours d'avis ; si vous avez signé pour un an, relisez les modalités de votre entente avant de décider.

Dans tous les cas, gardez votre feuille de chiffres. Elle vous servira pour la prochaine tâche, avec un relevé de départ fait correctement cette fois.

Si vous avez déjà un agent en service et que vous n'arrivez pas à dire s'il se paie, ou si vous voulez faire le calcul avant de commencer, envoyez-nous vos chiffres de départ. On refera le calcul avec vous, y compris la version moins flatteuse.

Questions fréquentes

Ce qu'on nous demande sur le sujet.

Pourquoi attendre trois mois avant de juger ?

Les premières semaines servent à calibrer et à monter en autonomie, et les règles bougent encore. Le deuxième mois donne un premier portrait. Au troisième, les chiffres se stabilisent assez pour être comparés au relevé de départ.

Je n'ai fait aucun relevé avant la mise en service. Est-ce trop tard ?

Pas tout à fait. Vous pouvez reconstituer le volume et les délais à partir de vos courriels et de votre logiciel comptable. Pour les heures, demandez à la personne qui faisait la tâche son estimation, et traitez ce chiffre avec prudence.

Faut-il compter le temps que j'ai mis à la mise en place ?

Oui, une fois. Comptez environ trois heures de votre temps pour un processus, à votre coût horaire, et étalez-les sur la première année. Le montant est petit, mais un calcul qui l'oublie est facile à contester.

Un taux de validation sans correction de 100 % est-il l'objectif ?

Non. Un taux qui plafonne un peu en bas de 100 % est normal, parce que certains messages demanderont toujours une retouche humaine. Un 100 % soutenu peut aussi vouloir dire que plus personne ne lit avant d'approuver.

Parlons-en

Décrivez-nous la tâche qui vous prend du temps.

On vous revient sous 24 h ouvrables pour planifier votre démo. Le diagnostic est gratuit et ne vous engage à rien.

Planifier une démo