La démo marche toujours
Quarante prestataires vont vous montrer un agent qui prend un rendez-vous. La démo dure quatre-vingt-dix secondes, l'API répond du tac au tac, les données sont propres, et toute la salle hoche la tête. J'ai construit ces démos. Elles sont faciles.
La question qui décide si vous avez un système ou un jouet est ailleurs : que fait l'agent à 3h du matin, quand l'API part en timeout, que la réponse revient corrompue, et que personne ne regarde ?
Les quatre pannes qui arrivent toujours
Faites tourner n'importe quel agent assez longtemps en production et vous croiserez les mêmes quatre événements. Pas « peut-être » - à coup sûr.
- L'appel d'outil échoue. Toute API externe finit par tomber. La réponse de l'agent - réessayer, changer d'approche, escalader - se conçoit avant la mise en ligne, elle ne se découvre pas après.
- Les données changent. Un fournisseur renomme une colonne. Un formulaire se met à envoyer des chaînes vides. Un script sort de mauvaises réponses en silence ; un agent, lui, doit repérer que ce qui revient n'a aucun sens.
- Le modèle change. Une mise à jour de modèle peut modifier le comportement sans prévenir. Sans evals - des contrôles automatiques qui vérifient que le système fait toujours ce qu'il faisait la semaine dernière - vos clients deviennent votre suite de tests.
- La boucle s'emballe. Un agent en boucle, c'est une carte bancaire en boucle. Les plafonds de coût vivent dans le code, pas dans l'espoir.
À quoi ressemble la liste de 3h du matin
Quand je mets un agent en production, la liste de lancement parle surtout d'échec : ce qui est réessayé et combien de fois, ce qui remonte à un humain et par quel canal, quel est le budget quotidien en tokens et ce qui se passe à 80 % de ce budget, et quel eval doit passer au rouge pour bloquer un deploy.
Rien de tout cela n'apparaît dans une démo, parce que rien de tout cela ne se voit quand tout marche. C'est pourtant exactement ce que vous payez.
Comment vous en servir
La prochaine fois qu'on vous montre un agent, laissez la démo finir et posez une seule question : « montrez-moi ce qui s'est passé la dernière fois qu'il a échoué ». Un vrai système en production a une réponse - des logs, une trace des reprises, une escalade. Une démo a un blanc.
Je fais tourner des agents en production et cette question a des réponses. Si vous avez un processus qui devrait tourner tout seul, apportez-moi le processus et le chiffre qu'il brûle.