La demo siempre funciona
Cuarenta proveedores te enseñarán un agente reservando una reunión. La demo dura noventa segundos, la API responde al instante, los datos están limpios y todos asienten. He construido esas demos. Son fáciles.
La pregunta que decide si tienes un sistema o un juguete es otra: ¿qué hace el agente a las 3 de la madrugada, cuando la API da timeout, la respuesta llega corrupta y nadie está mirando?
Los cuatro fallos que siempre llegan
Opera cualquier agente el tiempo suficiente en producción y te encontrarás los mismos cuatro eventos. No "quizá" - seguro.
- La llamada a la herramienta falla. Toda API externa acaba cayendo. La respuesta del agente - reintentar, cambiar de enfoque, escalar - se diseña antes del lanzamiento, no se descubre después.
- Los datos cambian. Un proveedor renombra una columna. Un formulario empieza a enviar cadenas vacías. Un script entrega respuestas erróneas en silencio; un agente tiene que notar que lo que volvió no tiene sentido.
- El modelo cambia. Una actualización del modelo puede cambiar el comportamiento en silencio. Sin evals - comprobaciones automáticas de que el sistema sigue haciendo lo de la semana pasada - tus clientes se convierten en tu suite de tests.
- El bucle se descontrola. Un agente en bucle es una tarjeta de crédito en bucle. Los techos de coste viven en el código, no en la esperanza.
Cómo es la lista de las 3 de la madrugada
Cuando llevo un agente a producción, la lista de lanzamiento trata sobre todo del fallo: qué se reintenta y cuántas veces, qué se escala a un humano y por qué canal, cuál es el presupuesto diario de tokens y qué pasa al 80%, y qué eval tiene que ponerse en rojo para bloquear un despliegue.
Nada de eso aparece en una demo, porque nada de eso se ve cuando todo funciona. Es la parte que de verdad estás pagando.
Cómo usar esto
La próxima vez que alguien te enseñe un agente, deja terminar la demo y haz una pregunta: "enséñame qué pasó la última vez que falló". Un sistema real de producción tiene respuesta - logs, rastro de reintentos, escalado. Una demo tiene un silencio.
Yo opero agentes en producción y esa pregunta tiene respuestas. Si tienes un proceso que debería funcionar solo, tráeme el proceso y la cifra que quema.