Το demo δουλεύει πάντα
Σαράντα προμηθευτές θα σου δείξουν έναν agent να κλείνει ραντεβού. Το demo κρατάει ενενήντα δευτερόλεπτα, το API απαντάει ακαριαία, τα δεδομένα είναι καθαρά και όλοι στην αίθουσα γνέφουν καταφατικά. Έχω φτιάξει τέτοια demos. Είναι εύκολα.
Η ερώτηση που κρίνει αν έχεις σύστημα ή παιχνίδι είναι άλλη: τι κάνει ο agent στις 3 τα ξημερώματα, όταν το API κάνει timeout, η απάντηση έρχεται χαλασμένη και δεν κοιτάει κανείς;
Οι τέσσερις αστοχίες που έρχονται πάντα
Άσε οποιονδήποτε agent να τρέξει αρκετά σε παραγωγή και θα συναντήσεις τα ίδια τέσσερα περιστατικά. Όχι «μπορεί» - σίγουρα.
- Η κλήση εργαλείου αποτυγχάνει. Κάθε εξωτερικό API κάποια στιγμή πέφτει. Η αντίδραση του agent - retry, αλλαγή προσέγγισης, μεταβίβαση σε άνθρωπο - σχεδιάζεται πριν από το λανσάρισμα, δεν ανακαλύπτεται μετά.
- Τα δεδομένα αλλάζουν. Ένας προμηθευτής μετονομάζει μια στήλη. Μια φόρμα αρχίζει να στέλνει κενά. Το script βγάζει λάθος αποτελέσματα αθόρυβα· ο agent οφείλει να καταλάβει ότι η απάντηση δεν βγάζει νόημα.
- Το μοντέλο αλλάζει. Μια αναβάθμιση μοντέλου μπορεί να αλλάξει τη συμπεριφορά χωρίς να το πάρεις είδηση. Χωρίς evals - αυτόματους ελέγχους ότι το σύστημα κάνει ακόμα ό,τι έκανε την προηγούμενη βδομάδα - το test suite σου γίνονται οι πελάτες σου.
- Ο βρόχος ξεφεύγει. Agent σε ατέρμονο βρόχο σημαίνει πιστωτική κάρτα σε ατέρμονο βρόχο. Τα όρια κόστους γράφονται στον κώδικα, δεν αφήνονται στην ελπίδα.
Πώς μοιάζει η λίστα των 3 τα ξημερώματα
Όταν βγάζω έναν agent σε παραγωγή, η λίστα του λανσαρίσματος αφορά κυρίως την αποτυχία: τι ξαναδοκιμάζεται και πόσες φορές, τι περνάει σε άνθρωπο και από ποιο κανάλι, ποιο είναι το ημερήσιο budget σε tokens και τι γίνεται στο 80% του, και ποιο eval πρέπει να κοκκινίσει για να μπλοκαριστεί ένα deploy.
Τίποτα από αυτά δεν φαίνεται σε demo, γιατί τίποτα δεν φαίνεται όσο όλα πάνε καλά. Κι όμως, αυτό ακριβώς πληρώνεις.
Πώς να το αξιοποιήσεις
Την επόμενη φορά που θα σου δείξουν έναν agent, άσε το demo να τελειώσει και κάνε μία ερώτηση: «δείξε μου τι έγινε την τελευταία φορά που απέτυχε». Ένα πραγματικό σύστημα σε παραγωγή έχει απάντηση: logs, ιστορικό από retries, μια μεταβίβαση σε άνθρωπο. Το demo έχει μια παύση.
Εγώ τρέχω agents σε παραγωγή και σε αυτή την ερώτηση έχω απαντήσεις. Αν έχεις μια διαδικασία που θα έπρεπε να τρέχει μόνη της, φέρε μου τη διαδικασία και το νούμερο που σου καίει.