ΑΝΕΞΑΡΤΗΤΗ ΕΡΕΥΝΑ
11 έρευνες για την ελληνική αγορά και για το τι πραγματικά κοστίζει να τρέχεις συστήματα AI. Η καθεμία δημοσιεύει τα δεδομένα της, τον κώδικα που παρήγαγε κάθε πίνακα και ένα μητρώο με κάθε ισχυρισμό που εξετάστηκε, μαζί με αυτούς που δεν άντεξαν τον έλεγχο και δεν μπήκαν ποτέ στο κείμενο. Δωρεάν, χωρίς φόρμα, χωρίς εγγραφή.
Κατέβασε και τις 11 3,7 MB, 281 σελίδες
Οι έρευνες είναι γραμμένες στα αγγλικά και παραμένουν στα αγγλικά. Μια έρευνα περασμένη από μηχανική μετάφραση χάνει περισσότερη αξιοπιστία από όση εμβέλεια κερδίζει, οπότε μεταφράζεται αυτή η σελίδα και όχι η δουλειά.
01. ΕΡΕΥΝΑ ΓΙΑ ΤΗΝ ΕΛΛΗΝΙΚΗ ΑΓΟΡΑ
Τι κοστίζει πραγματικά να πουλάς online στην Ελλάδα, τι κουβαλάει στ' αλήθεια μια ελληνική παραγγελία, τι στέλνουν 900 ελληνικά e-shops σε έναν browser και ποιος δημοσιεύει εξαρχής τέτοια νούμερα.
01
Απογραφή της εταιρικής έρευνας στην Ελλάδα: 68 προγράμματα δημοσιεύσεων, 64 εκδότες, 15 κλάδοι. Ποιος παράγει τα νούμερα πάνω στα οποία στηρίζονται επιχειρηματικές αποφάσεις, πόσο μακριά τα πηγαίνει ο Τύπος και ποια από αυτά αναφέρουν τελικά οι μηχανές απαντήσεων.
02
Τι μετράει και τι αφήνει απέξω το νούμερο των 36,1 δισ. € για το ηλεκτρονικό εμπόριο, μαζί με ένα μοντέλο τελικού κόστους φτιαγμένο μόνο από δημοσιευμένους τιμοκαταλόγους, που μπορείς να τρέξεις πάνω στο δικό σου καλάθι.
06
900 ελληνικά domains μετρημένα σε μία μέρα. Το 36,8% δεν στέλνει κανένα header ασφαλείας, το 11,1% αποτυγχάνει σε έγκυρο TLS handshake και πέντε e-shops στα 505 περνούν πέντε στοιχειώδεις ελέγχους. Καμία ιστοσελίδα δεν κατονομάζεται.
07
Τι κοστίζει μια χρονιά online πωλήσεων στην Ελλάδα, τιμολογημένο μόνο από δημοσιευμένες σελίδες. Από τις 32 γραμμές κόστους, οι έξι δεν έχουν καμία δημοσιευμένη τιμή, και ανάμεσά τους οι υποχρεωτικές είναι δυσανάλογα πολλές.
02. ΜΕΤΡΗΣΗ ΣΥΣΤΗΜΑΤΩΝ AI
Τι κοστίζει ένας agent ανά εκτέλεση, τι κάνει έναν agent να δουλεύει και γιατί η ίδια χρονιά βγάζει και 5% και 88% υιοθέτηση AI. Μετρημένα πάνω σε συστήματα που τρέχουν, μαζί με τις εκδόσεις που χειροτέρεψαν.
03
Είκοσι πολυαναφερόμενα στατιστικά για το AI, βαθμολογημένα σε έξι κριτήρια. Γιατί η ίδια χρονιά δίνει 5% και 88%, πού βρίσκονται πραγματικά οι ελληνικές επιχειρήσεις όταν ξεχωρίσεις τις κατηγορίες μεγέθους και γιατί η εξήγηση περί έλλειψης δεξιοτήτων δεν αντέχει μπροστά στα στοιχεία δαπανών.
04
Τρία agent harnesses πάνω σε ένα μοντέλο, 45 βαθμολογημένες συνεδρίες. Περιλαμβάνει τρία σφάλματα που βρέθηκαν στο ίδιο το όργανο μέτρησης και δύο δημοσιευμένα ευρήματα που αποσύρθηκαν εξαιτίας τους.
05
Επτά εκδόσεις ενός agent σε πραγματική λειτουργία πάνω στο ίδιο benchmark, μαζί με τις δύο που χειροτέρεψαν, και ένας αρνητικός μάρτυρας που δείχνει ότι το σετ δοκιμών δίνει 22,8% ακόμα και σε κάτι που δεν κάνει απολύτως τίποτα.
08
Έξι agent harnesses, τέσσερα μοντέλα, έντεκα σενάρια και ένας μάρτυρας που δεν κάνει τίποτα. Το μοντέλο εξηγεί το 88 τοις εκατό της διαφοράς και το harness το 7, ενώ δεκαέξι συνεδρίες κατέστρεψαν αρχεία χρηστών από μια ασαφή εντολή.
09
Δύο ελληνικοί ιστότοποι, 58 ημέρες παρατήρησης ο καθένας, μετρημένοι από τα δικά τους access logs. Από εξακόσιες έως δύο χιλιάδες τριακόσιες σελίδες για κάθε επισκέπτη που στέλνουν πίσω, σε ιστότοπους που δεν απέκλεισαν ποτέ κανέναν crawler.
12
Το ίδιο μοντέλο σε Linux και Windows. Εβδομήντα έξι εντολές της μορφής που γράφει ένα μοντέλο από προεπιλογή περνούν σε ποσοστό 97,4 τοις εκατό σε κέλυφος POSIX και 26,3 τοις εκατό στο PowerShell που παίρνει στην πράξη ο πράκτορας, στο ίδιο μηχάνημα. Η διαφορά του λειτουργικού δεν είναι καν ανιχνεύσιμη, και οι έξι εντολές που όντως αλλάζει αναφέρουν όλες επιτυχία.
03. ΤΕΚΜΗΡΙΩΣΗ ΚΑΙ ΜΕΘΟΔΟΣ
Πώς διατυπώνονται οι επιχειρηματικοί ισχυρισμοί, ποιος τους έλεγξε και τι προκύπτει όταν κάποιος κοιτάξει το μισό των δεδομένων που η μέθοδος δεν παίρνει ποτέ στο δείγμα.
11
Οι συμβουλές για startups χτίζονται διαβάζοντας τις εταιρείες που κέρδισαν. Απέναντι σε 1.404 εταιρείες αξίας ενός δισεκατομμυρίου δολαρίων και 410 που μηδενίστηκαν, οι κατηγορίες που υποτίθεται ότι προβλέπουν την επιτυχία περιγράφουν ήδη το 63,5 τοις εκατό των νεκρών.
ΤΑ ΕΡΓΑΛΕΙΑ
Κάθε έρευνα δημοσιεύει και τη μηχανή που την παρήγαγε. Αυτό είναι αρκετά σπάνιο ώστε να αξίζει να ειπωθεί καθαρά, γιατί είναι ακριβώς το κομμάτι που σου επιτρέπει να διαφωνήσεις μαζί μου με στοιχεία και όχι με εντυπώσεις.
Κάθε νούμερο σε κάθε έρευνα ξαναϋπολογίζεται από αρχεία που δημοσιεύονται μαζί της: ο crawler, το benchmark, ο υπολογιστής κόστους, τα ακατέργαστα αποτελέσματα.
Κάθε έρευνα κουβαλάει ένα μητρώο με κάθε ισχυρισμό που εξετάστηκε, μαζί με όσους κόπηκαν, υποβαθμίστηκαν ή δεν άντεξαν τον έλεγχο. Τα μητρώα γράφτηκαν πριν από το κείμενο, και αυτό ακριβώς είναι το νόημά τους.
Πέντε σφάλματα μέτρησης έγιναν και εντοπίστηκαν σε αυτό το πρόγραμμα, και το καθένα περιγράφεται εκεί όπου συνέβη και όχι σε παράρτημα. Τα δύο είχαν ήδη βγάλει δημοσιευμένα ευρήματα, τα οποία αποσύρονται.
Κάθε αλλαγή μετά τη δημοσίευση μπαίνει σε δημόσιο αρχείο αλλαγών, με την ημερομηνία και τον λόγο της. Μια πολιτική διορθώσεων που δεν μπορεί να ελεγχθεί δεν είναι πολιτική.
ΟΡΟΙ
Όλα εδώ δημοσιεύονται με άδεια Creative Commons Attribution 4.0: αντίγραψέ τα, παράθεσέ τα, κάνε γραφήματα, χτίσε πάνω τους, ακόμα και εμπορικά, με αναφορά στην πηγή. Ο κώδικας ανάλυσης είναι MIT. Δεν υπάρχει πουθενά φόρμα email, γιατί μια έρευνα που λέει να ελέγχεις αντί να εμπιστεύεσαι δεν μπορεί να σου ζητάει πρώτα τη διεύθυνσή σου.
ΑΝΕΞΑΡΤΗΣΙΑ
Κανένας χορηγός, πελάτης ή προμηθευτής δεν χρηματοδότησε, δεν έλεγξε και δεν ενέκρινε αυτή τη δουλειά. Όπου το αντικείμενο είναι δικές μου επιχειρήσεις ή δικό μου λογισμικό, και στις τρεις από τις 11 είναι, αυτό δηλώνεται στην πρώτη παράγραφο της έρευνας και στη δήλωση συμφερόντων της.
Οι διορθώσεις είναι ευπρόσδεκτες και καταγράφονται με ημερομηνία και αιτιολογία στο δημόσιο αρχείο αλλαγών, όχι σιωπηλά. Αν κάποιο νούμερο εδώ είναι λάθος, αυτό έχει για μένα μεγαλύτερη αξία από ένα κομπλιμέντο.
Πες μου τι είναι λάθος