ΑΝΕΞΑΡΤΗΤΗ ΕΡΕΥΝΑ
Επτά έρευνες για την ελληνική αγορά και για το τι πραγματικά κοστίζει να τρέχεις συστήματα AI. Η καθεμία δημοσιεύει τα δεδομένα της, τον κώδικα που παρήγαγε κάθε πίνακα, και ένα μητρώο με κάθε ισχυρισμό που εξετάστηκε: μαζί με αυτούς που δεν άντεξαν τον έλεγχο και δεν μπήκαν ποτέ στο κείμενο. Δωρεάν, χωρίς φόρμα, χωρίς εγγραφή.
Κατέβασε και τις επτά 3.9 MB · 262 σελίδες
Οι έρευνες είναι γραμμένες στα αγγλικά και παραμένουν στα αγγλικά. Μια έρευνα περασμένη από μηχανική μετάφραση χάνει περισσότερη αξιοπιστία από όση εμβέλεια κερδίζει, οπότε μεταφράζεται αυτή η σελίδα και όχι η δουλειά.
01 - ΕΡΕΥΝΑ ΓΙΑ ΤΗΝ ΕΛΛΗΝΙΚΗ ΑΓΟΡΑ
Τι κοστίζει πραγματικά να πουλάς online στην Ελλάδα, τι κουβαλάει στ αλήθεια μια ελληνική παραγγελία, τι στέλνουν 900 ελληνικά eshop σε έναν browser, και ποιος δημοσιεύει τελικά αυτά τα νούμερα.
01
Απογραφή της εταιρικής έρευνας στην Ελλάδα: 68 προγράμματα δημοσιεύσεων, 64 εκδότες, 15 κλάδοι. Ποιος παράγει τα νούμερα πάνω στα οποία στηρίζονται επιχειρηματικές αποφάσεις, πόσο μακριά τα πηγαίνει ο Τύπος, και ποια από αυτά αναφέρουν τελικά οι μηχανές απαντήσεων.
02
Τι μετράει και τι αφήνει απέξω το νούμερο των €36,1 δισ. για το ηλεκτρονικό εμπόριο, μαζί με ένα μοντέλο τελικού κόστους φτιαγμένο μόνο από δημοσιευμένους τιμοκαταλόγους, που μπορείς να τρέξεις πάνω στο δικό σου καλάθι.
06
900 ελληνικά domains μετρημένα σε μία μέρα. Το 36,8% δεν στέλνει κανένα header ασφαλείας, το 11,1% αποτυγχάνει σε έγκυρο TLS handshake, και πέντε eshop στα 505 περνούν πέντε στοιχειώδεις ελέγχους. Κανένα site δεν κατονομάζεται.
07
Τι κοστίζει μια χρονιά online πωλήσεων στην Ελλάδα, τιμολογημένο μόνο από δημοσιευμένες σελίδες. Από τις 32 γραμμές κόστους, οι έξι δεν έχουν καμία δημοσιευμένη τιμή, και είναι δυσανάλογα οι υποχρεωτικές.
02 - ΜΕΤΡΗΣΗ ΣΥΣΤΗΜΑΤΩΝ AI
Τι κοστίζει ένας agent ανά εκτέλεση, τι κάνει έναν agent να δουλεύει, και γιατί η ίδια χρονιά βγάζει και 5% και 88% υιοθέτηση AI. Μετρημένα πάνω σε συστήματα που τρέχουν, μαζί με τις εκδόσεις που χειροτέρεψαν.
03
Είκοσι πολυαναφερόμενα στατιστικά για το AI, βαθμολογημένα σε έξι κριτήρια. Γιατί η ίδια χρονιά δίνει 5% και 88%, πού βρίσκονται πραγματικά οι ελληνικές επιχειρήσεις όταν ξεχωρίσεις τα μεγέθη, και γιατί η εξήγηση περί έλλειψης δεξιοτήτων δεν αντέχει μπροστά στα στοιχεία δαπανών.
04
Τρία agent harnesses πάνω σε ένα μοντέλο, 45 βαθμολογημένες συνεδρίες. Περιλαμβάνει τρία σφάλματα που βρέθηκαν στο ίδιο το όργανο μέτρησης και δύο δημοσιευμένα ευρήματα που αποσύρθηκαν εξαιτίας τους.
05
Επτά εκδόσεις ενός agent σε παραγωγή πάνω στο ίδιο benchmark, μαζί με τις δύο που χειροτέρεψαν, και ένα negative control που δείχνει ότι το σετ δοκιμών βγάζει 22,8% χωρίς να κάνει απολύτως τίποτα.
08
Έξι harnesses agent, τέσσερα μοντέλα, έντεκα σενάρια και ένας μάρτυρας που δεν κάνει τίποτα. Το μοντέλο εξηγεί το 88 τοις εκατό της διαφοράς και το harness το 7, ενώ δεκαέξι συνεδρίες κατέστρεψαν αρχεία χρηστών από μια ασαφή εντολή.
09
Δύο ελληνικοί ιστότοποι, 58 ημέρες παρατήρησης ο καθένας, μετρημένοι από τα δικά τους access logs. Από εξακόσιες έως δύο χιλιάδες τριακόσιες σελίδες για κάθε αναγνώστη που επιστρέφεται, σε ιστότοπους που ποτέ δεν μπλόκαραν crawler.
03 - ΤΕΚΜΗΡΙΩΣΗ ΚΑΙ ΜΕΘΟΔΟΣ
Πώς διατυπώνονται οι επιχειρηματικοί ισχυρισμοί, ποιος τους έλεγξε, και τι προκύπτει όταν κάποιος κοιτάξει το μισό των στοιχείων που η μέθοδος δεν δειγματοληπτεί ποτέ.
11
Οι συμβουλές για startups χτίζονται διαβάζοντας τις εταιρείες που κέρδισαν. Απέναντι σε 1.404 εταιρείες αξίας ενός δισεκατομμυρίου και 410 που μηδενίστηκαν, οι κατηγορίες που υποτίθεται ότι προβλέπουν την επιτυχία περιγράφουν ήδη το 63,5 τοις εκατό των νεκρών.
ΤΑ ΕΡΓΑΛΕΙΑ
Κάθε έρευνα δημοσιεύει και τη μηχανή που την παρήγαγε. Αυτό είναι αρκετά σπάνιο ώστε να αξίζει να ειπωθεί καθαρά, γιατί είναι ακριβώς το κομμάτι που σου επιτρέπει να διαφωνήσεις μαζί μου με στοιχεία και όχι με εντυπώσεις.
Κάθε νούμερο σε κάθε έρευνα ξαναϋπολογίζεται από αρχεία που δημοσιεύονται δίπλα του: ο crawler, το benchmark, ο υπολογιστής κόστους, τα ακατέργαστα αποτελέσματα.
Κάθε έρευνα κουβαλάει ένα μητρώο με κάθε ισχυρισμό που εξετάστηκε, μαζί με όσους κόπηκαν, υποβαθμίστηκαν ή δεν άντεξαν τον έλεγχο. Τα μητρώα γράφτηκαν πριν από το κείμενο, και αυτό ακριβώς είναι το νόημά τους.
Πέντε σφάλματα μέτρησης έγιναν και εντοπίστηκαν σε αυτό το πρόγραμμα, και το καθένα περιγράφεται εκεί όπου συνέβη και όχι σε παράρτημα. Τα δύο είχαν ήδη βγάλει δημοσιευμένα ευρήματα, τα οποία αποσύρονται.
Κάθε αλλαγή μετά τη δημοσίευση μπαίνει σε δημόσιο αρχείο αλλαγών, με την ημερομηνία και τον λόγο της. Μια πολιτική διορθώσεων που δεν μπορεί να ελεγχθεί δεν είναι πολιτική.
ΟΡΟΙ
Όλα εδώ δημοσιεύονται με άδεια Creative Commons Attribution 4.0: αντίγραψέ τα, παράθεσέ τα, κάνε γραφήματα, χτίσε πάνω τους, ακόμα και εμπορικά, με αναφορά στην πηγή. Ο κώδικας ανάλυσης είναι MIT. Δεν υπάρχει πουθενά φόρμα email, γιατί μια έρευνα που λέει να ελέγχεις αντί να εμπιστεύεσαι δεν μπορεί να σου ζητάει πρώτα τη διεύθυνσή σου.
ΑΝΕΞΑΡΤΗΣΙΑ
Κανένας χορηγός, πελάτης ή προμηθευτής δεν χρηματοδότησε, δεν έλεγξε και δεν ενέκρινε αυτή τη δουλειά. Όπου το αντικείμενο είναι δικές μου επιχειρήσεις ή δικό μου λογισμικό, και στις τρεις από τις επτά είναι, αυτό δηλώνεται στην πρώτη παράγραφο της έρευνας και στη δήλωση συμφερόντων της.
Οι διορθώσεις είναι ευπρόσδεκτες και καταγράφονται με ημερομηνία και αιτιολογία στο δημόσιο αρχείο αλλαγών, όχι σιωπηλά. Αν κάποιο νούμερο εδώ είναι λάθος, αυτό μου αξίζει περισσότερο από το κομπλιμέντο.
Πες μου τι είναι λάθος