Το κόστος λειτουργίας ενός AI agent είναι τα tokens που καταναλώνει κάθε εργασία, επί την τιμή του μοντέλου, επί τον αριθμό των εργασιών, συν τις επαναλήψεις, τις αποτυχίες και τα λεπτά που ξοδεύει ένας άνθρωπος για έλεγχο. Οι agents χρησιμοποιούν πολύ περισσότερα tokens από μια απάντηση chatbot, γιατί σε κάθε βήμα ξαναστέλνουν όλη τη συζήτηση και τα αποτελέσματα των εργαλείων. Στο δικό μου σετ ελέγχου με τριάντα πραγματικές εργασίες, σε ένα οικονομικό μοντέλο, κάθε εκτέλεση εργασίας κόστισε σε tokens από 0,009 έως 0,013 δολάρια. Το prompt caching μπορεί να μειώσει το κόστος του κύκλου ενός agent 2,5 έως 3,7 φορές, ενώ το ελληνικό κείμενο περίπου διπλασιάζει την πλευρά της εισόδου. Στις περισσότερες επιχειρήσεις τα tokens αποδεικνύονται η μικρή γραμμή του λογαριασμού. Οι ακριβές είναι οι αποτυχημένες εκτελέσεις και ο ανθρώπινος έλεγχος.
Τι περιλαμβάνει το κόστος λειτουργίας ενός AI agent;
Το κόστος λειτουργίας ενός AI agent έχει έξι κομμάτια, και μόνο τα δύο πρώτα εμφανίζονται στο τιμολόγιο του παρόχου του μοντέλου:
- Tokens εισόδου: οι οδηγίες συστήματος, οι περιγραφές των εργαλείων, η συζήτηση μέχρι εκείνη τη στιγμή και τα έγγραφα που ανακτήθηκαν, που στέλνονται ξανά σε κάθε βήμα.
- Tokens εξόδου: οι απαντήσεις του μοντέλου και οι κλήσεις εργαλείων, μαζί με τον εσωτερικό του συλλογισμό, που χρεώνεται ως έξοδος. Στα σημερινά μοντέλα του Claude και της OpenAI, η έξοδος κοστίζει περίπου πέντε φορές την τιμή της εισόδου.
- Επαναλήψεις: μια κλήση εργαλείου που αποτυγχάνει ή λήγει και ξαναγίνεται χρεώνει ξανά τα tokens της.
- Αποτυχίες: μια εργασία που τελειώνει λάθος χρεώνει όλα όσα χρησιμοποίησε και μετά κοστίζει τον χρόνο που χρειάζεται για να βρεθεί και να διορθωθεί το λάθος.
- Υποδομή: φιλοξενία, αρχεία καταγραφής, η βάση δεδομένων και όσα πληρωμένα API καλούν τα εργαλεία.
- Ανθρώπινος έλεγχος: τα λεπτά που ξοδεύει ένας άνθρωπος για να εγκρίνει προσχέδια, που τους πρώτους μήνες είναι συχνά το μεγαλύτερο κόστος απ' όλα.
Οι μηχανικοί της Anthropic αναφέρουν ότι οι agents χρησιμοποιούν συνήθως περίπου τέσσερις φορές τα tokens μιας συνομιλίας και τα συστήματα με πολλούς agents περίπου δεκαπέντε φορές (Anthropic, multi-agent research system).
Πόσο κοστίζει στην πράξη μία εργασία ενός agent;
Μία εργασία μπορεί να κοστίσει περίπου ένα σεντ σε tokens σε ένα οικονομικό μοντέλο και αρκετές φορές παραπάνω σε ένα κορυφαίο. Μέτρησα επτά εκδόσεις ενός agent που λειτουργεί πραγματικά, στις ίδιες τριάντα εργασίες, 270 εκτελέσεις συνολικά, και δημοσίευσα κάθε αποτέλεσμα στο What an agent actually costs. Με τις κανονικές τιμές του μοντέλου, 0,435 δολάρια ανά εκατομμύριο tokens εισόδου και 0,87 ανά εκατομμύριο εξόδου, το κόστος ανά εκτέλεση κυμάνθηκε από 0,00920 έως 0,01309 δολάρια ανάμεσα στις εκδόσεις. Χίλιες τέτοιες εργασίες κοστίζουν περίπου δέκα με δεκατρία δολάρια.
Δύο επιφυλάξεις κρατούν τον αριθμό τίμιο. Ήταν καλά ορισμένες εργασίες σε έναν υπολογιστή, όχι μεγάλες έρευνες, και έτρεξαν σε φθηνό μοντέλο. Ένα κορυφαίο μοντέλο μπορεί να κοστίζει δέκα φορές περισσότερο ανά token, και οι μεγαλύτερες εργασίες πολλαπλασιάζουν τα tokens. Η μέθοδος μεταφέρεται ακόμη κι όταν ο αριθμός δεν μεταφέρεται: μετρήστε τις δικές σας εργασίες και μετά πολλαπλασιάστε.
Γιατί κοστολογείτε έναν agent ανά ολοκληρωμένη εργασία και όχι ανά token;
Γιατί ένα φθηνό μοντέλο που αποτυγχάνει χρεώνει τα tokens του, μετά την επανάληψη και μετά το κόστος του λάθους. Ένα ακριβότερο μοντέλο που τελειώνει σε λιγότερα βήματα και αποτυγχάνει λιγότερο μπορεί να βγαίνει φθηνότερο ανά αποτέλεσμα. Η Anthropic δημοσίευσε ένα παράδειγμα σε ένα benchmark προγραμματισμού, όπου ένα μοντέλο με πενταπλάσια τιμή ανά token ήταν και ακριβέστερο και φθηνότερο ανά λυμένη εργασία: 88,6% με 0,54 δολάρια απέναντι σε 77,4% με 0,84 δολάρια. Είναι μέτρηση του ίδιου του κατασκευαστή πάνω στα δικά του μοντέλα, οπότε δείτε την ως παράδειγμα της αρχής και όχι ως οδηγό αγοράς, και μετρήστε στις δικές σας εργασίες.
Πόσο γλιτώνει το prompt caching σε έναν agent;
Το prompt caching γλιτώνει περισσότερα από οποιοδήποτε άλλο μεμονωμένο μέτρο, γιατί ένας agent ξαναστέλνει σε κάθε βήμα την ίδια μεγάλη αρχή, τις οδηγίες και τις περιγραφές των εργαλείων. Οι πάροχοι χρεώνουν ένα κλάσμα της κανονικής τιμής εισόδου για το κομμάτι της εντολής που έχουν δει πρόσφατα. Οι μετρήσεις της ίδιας της Anthropic έδειξαν ότι το κόστος του κύκλου ενός agent πέφτει 2,5 έως 3,7 φορές όταν το ποσοστό επιτυχίας της cache είναι 81 έως 90% (Anthropic, prompt caching). Τρεις κανόνες το κάνουν να δουλεύει: βάλτε πρώτα ό,τι δεν αλλάζει ποτέ και στο τέλος ό,τι αλλάζει, μη βάζετε ποτέ ώρα ή αριθμό αιτήματος στην αρχή της εντολής, και ελέγχετε τα πεδία της cache στα στοιχεία χρήσης του παρόχου μετά από κάθε αλλαγή, γιατί μια χαλασμένη cache αποτυγχάνει σιωπηλά και το καταλαβαίνετε μόνο από τον λογαριασμό.
Τι άλλο μειώνει το κόστος ενός AI agent;
Αρκετά ακόμη μέτρα μειώνουν το κόστος, περίπου με αυτή τη σειρά προσπάθειας:
- Επεξεργασία σε παρτίδες (batch) για ό,τι δεν χρειάζεται απάντηση μέσα στην ώρα: και η OpenAI και η Anthropic χρεώνουν τις εργασίες batch στη μισή τιμή (OpenAI Batch API).
- Λιγότερα εργαλεία ανά κλήση. Κάθε περιγραφή εργαλείου ταξιδεύει σε κάθε βήμα. Σε έναν από τους δικούς μου agents, όταν στέλνω μόνο τα 18 εργαλεία που χρειάζεται ένα απλό αίτημα αντί και για τα 31, γλιτώνω περίπου 4.300 tokens ανά κλήση, τεχνική που εξηγώ στο MCP: τι είναι και πότε το χρειάζεστε.
- Συντομότερες απαντήσεις, ζητώντας δομή αντί για πρόζα όπου το αποτέλεσμα το διαβάζει πρόγραμμα.
- Χαμηλότερη προσπάθεια συλλογισμού πριν από μικρότερο μοντέλο. Μια χαμηλότερη ρύθμιση στο ίδιο μοντέλο κρατά την ίδια cache και την ίδια συμπεριφορά, ενώ η αλλαγή μοντέλου ξεκινά με άδεια cache.
- Σκληρά όρια ανά εργασία, ώστε ένας κύκλος που στράβωσε να σταματά σε γνωστό κόστος και όχι να τρέχει όλη νύχτα.
Γιατί χειροτέρεψαν δύο από τις επτά εκδόσεις του agent;
Γιατί κάθε αλλαγή σε έναν agent είναι πείραμα, και μερικά πειράματα αποτυγχάνουν. Σε έξι μεταβάσεις από έκδοση σε έκδοση, οι δύο έριξαν το σκορ, και η μία εντοπίστηκε και διορθώθηκε μέσα σε είκοσι λεπτά μόνο επειδή κάθε έκδοση περνούσε από το ίδιο σετ ελέγχου. Το αρχείο είχε και μια παγίδα: στη μέση της πορείας, το σετ ελέγχου άρχισε να τρέχει κάθε εργασία τρεις φορές αντί για μία, οπότε η τελευταία έκδοση έμοιαζε 3,3 φορές ακριβότερη από την προηγούμενη ενώ στην πραγματικότητα κόστιζε 10% περισσότερο ανά εκτέλεση. Το δίδαγμα για μια επιχείρηση είναι απλό. Υπολογίστε κόστος για τις επαναλήψεις της ανάπτυξης, κρατήστε σταθερό σετ ελέγχου και συγκρίνετε κόστος ανά εκτέλεση, ποτέ σύνολα από εκτελέσεις που μετρήθηκαν διαφορετικά.
Πώς εκτιμάτε το κόστος ενός agent πριν τον φτιάξετε;
Τρέχετε ένα μικρό πρωτότυπο σε πραγματικές περιπτώσεις και πολλαπλασιάζετε:
- Περάστε είκοσι πραγματικές εργασίες από ένα πρωτότυπο και καταγράψτε τα tokens εισόδου και εξόδου της καθεμίας.
- Πολλαπλασιάστε με τις τιμές του μοντέλου και με τον μηνιαίο όγκο.
- Προσθέστε 20 έως 30% για επαναλήψεις και για τις εργασίες που παίρνουν περισσότερο από τον μέσο όρο.
- Αν το περιεχόμενο είναι ελληνικό, μετρήστε τα tokens σε ελληνικό κείμενο: στα σημερινά μοντέλα τα ελληνικά θέλουν περίπου διπλάσια tokens από τα αγγλικά, όπως μέτρησα στο άρθρο ελληνικά στην τεχνητή νοημοσύνη.
- Προσθέστε τα λεπτά ελέγχου ανά εργασία επί το ωριαίο κόστος του ανθρώπου που ελέγχει, και παρακολουθήστε αυτή τη γραμμή να πέφτει όσο ο agent κερδίζει αυτονομία.
Το γραπτό σχέδιο που παραδίδω πριν από κάθε κατασκευή κοστολογεί ακριβώς αυτές τις γραμμές, για AI agents για επιχειρήσεις που δουλεύουν σε πραγματική λειτουργία.
Συχνές ερωτήσεις
Πόσο κοστίζει τον μήνα η λειτουργία ενός AI agent;
Εξαρτάται από τον όγκο και το μοντέλο. Ως τάξη μεγέθους, 3.000 σύντομες εργασίες τον μήνα με περίπου ένα σεντ η καθεμία κάνουν γύρω στα τριάντα δολάρια σε tokens σε ένα οικονομικό μοντέλο, και μερικές εκατοντάδες σε ένα κορυφαίο. Η κατασκευή, η φιλοξενία και ο ανθρώπινος έλεγχος κοστίζουν συνήθως περισσότερο από τα tokens.
Είναι πάντα φθηνότερο ένα φθηνότερο μοντέλο;
Όχι. Ένα φθηνότερο μοντέλο που αποτυγχάνει συχνότερα κοστίζει περισσότερο ανά ολοκληρωμένη εργασία, όταν μετρηθούν οι επαναλήψεις, τα λάθη και ο χρόνος ελέγχου. Συγκρίνετε μοντέλα με βάση το κόστος ανά σωστό αποτέλεσμα στις δικές σας εργασίες.
Κοστίζει περισσότερο ένας agent στα ελληνικά;
Ναι, στην πλευρά των tokens. Τα ελληνικά θέλουν περίπου διπλάσια tokens από τα αγγλικά στα σημερινά λεξιλόγια της OpenAI για το ίδιο περιεχόμενο, άρα το κόστος εισόδου ενός ελληνικού agent είναι περίπου το διπλάσιο της αγγλικής εκτίμησης.
Αν θέλετε μια εκτίμηση κόστους χτισμένη πάνω στις δικές σας εργασίες και όχι στη διαφάνεια ενός πωλητή, στείλτε μου είκοσι παραδείγματα της εργασίας και τον μηνιαίο όγκο. Τι είναι ένας agent και πότε αξίζει, το εξηγώ στο agentic AI: τι είναι.