Die Demo funktioniert immer
Vierzig Anbieter zeigen Ihnen einen Agent, der einen Termin bucht. Die Demo dauert neunzig Sekunden, die API antwortet sofort, die Daten sind sauber, und alle im Raum nicken. Ich habe solche Demos gebaut. Sie sind einfach.
Die Frage, die entscheidet, ob Sie ein System haben oder ein Spielzeug, ist eine andere: Was tut der Agent um 3 Uhr nachts, wenn die API in den Timeout läuft, die Antwort kaputt zurückkommt und niemand hinschaut?
Die vier Fehler, die immer kommen
Lassen Sie einen Agent lange genug in Produktion laufen, und Sie treffen auf dieselben vier Ereignisse. Nicht vielleicht - sicher.
- Der Tool-Aufruf schlägt fehl. Jede externe API fällt irgendwann aus. Die Reaktion des Agents darauf - Retry, anderer Weg, Eskalation - wird vor dem Start entworfen, nicht danach entdeckt.
- Die Daten verschieben sich. Ein Lieferant benennt eine Spalte um. Ein Formular schickt plötzlich leere Strings. Ein Skript liefert still falsche Ergebnisse; ein Agent muss merken, dass die Antwort keinen Sinn ergibt.
- Das Modell ändert sich. Ein Modell-Update kann das Verhalten lautlos verändern. Ohne Evals - automatische Prüfungen, dass das System noch tut, was es letzte Woche tat - werden Ihre Kunden zu Ihrer Test-Suite.
- Die Schleife läuft davon. Ein Agent in einer Schleife ist eine Kreditkarte in einer Schleife. Kostengrenzen stehen im Code, nicht in der Hoffnung.
Wie die Liste für 3 Uhr nachts aussieht
Wenn ich einen Agent in Produktion bringe, dreht sich die Startliste vor allem um das Scheitern: Was bekommt einen Retry und wie oft, was eskaliert an einen Menschen und über welchen Kanal, wie hoch das tägliche Token-Budget ist und was bei 80 % davon passiert, und welches Eval rot werden muss, damit ein Deploy blockiert wird.
Nichts davon taucht in einer Demo auf, weil nichts davon sichtbar ist, solange alles läuft. Genau dafür zahlen Sie aber.
Was Sie damit anfangen
Wenn Ihnen das nächste Mal jemand einen Agent zeigt, lassen Sie die Demo zu Ende laufen und stellen Sie eine einzige Frage: „Zeigen Sie mir, was beim letzten Fehlschlag passiert ist.“ Ein echtes Produktivsystem hat darauf eine Antwort - Logs, eine Retry-Spur, eine Eskalation. Eine Demo hat eine Pause.
Ich betreibe Agents in Produktion, und diese Frage hat bei mir Antworten. Wenn Sie einen Prozess haben, der sich selbst erledigen sollte, bringen Sie mir den Prozess und die Zahl, die er verbrennt.