Το RAG, από το retrieval-augmented generation, είναι ο τρόπος να απαντά ένα μοντέλο τεχνητής νοημοσύνης από τα δικά σας έγγραφα και όχι από μνήμης. Όταν φτάνει μια ερώτηση, το σύστημα ψάχνει πρώτα στα έγγραφά σας τα αποσπάσματα που είναι πιθανότερο να περιέχουν την απάντηση και μετά τα δίνει στο γλωσσικό μοντέλο, με την οδηγία να απαντήσει μόνο από αυτά και να τα παραθέσει. Το μοντέλο δεν χρειάζεται να ξαναεκπαιδευτεί στα δεδομένα σας, οι απαντήσεις μένουν τόσο ενημερωμένες όσο τα έγγραφά σας και κάθε ισχυρισμός δείχνει από πού προέρχεται. Το RAG μειώνει πολύ τις επινοημένες απαντήσεις, δεν τις εξαφανίζει όμως, γι' αυτό ένα καλό σύστημα RAG φτιάχνεται ώστε να λέει και «δεν το βρήκα».
Το RAG υπάρχει εξαιτίας του τρόπου που δουλεύουν τα γλωσσικά μοντέλα: ένα μοντέλο ξέρει μόνο όσα έμαθε στην εκπαίδευση και όσα του δείχνετε εκείνη τη στιγμή, όπως εξηγώ στο τι είναι τα μεγάλα γλωσσικά μοντέλα.
Πώς δουλεύει το RAG, βήμα βήμα;
Το RAG δουλεύει σε δύο φάσεις: προετοιμάζει τα έγγραφα μία φορά και απαντά σε κάθε ερώτηση όταν έρθει. Η αρχική έρευνα περιέγραψε την ιδέα το 2020 (Lewis κ.ά.), και τα συστήματα που λειτουργούν το 2026 μοιάζουν συνήθως έτσι:
- Ανάγνωση: τα PDF, τα αρχεία Word, οι ιστοσελίδες και τα email γίνονται καθαρό κείμενο, με τους τίτλους, τους πίνακες και τις σελίδες τους.
- Τεμαχισμός: το κείμενο χωρίζεται σε αποσπάσματα (chunks) λίγων εκατοντάδων tokens που ακολουθούν τη δομή του εγγράφου.
- Ευρετήριο: κάθε απόσπασμα αποθηκεύεται δύο φορές, σε ένα ευρετήριο λέξεων-κλειδιών και ως διάνυσμα (embedding) που αποτυπώνει το νόημά του.
- Ανάκτηση: για κάθε ερώτηση γίνεται αναζήτηση και στα δύο ευρετήρια και οι δύο λίστες αποτελεσμάτων ενώνονται.
- Επαναταξινόμηση: τα πρώτα πενήντα περίπου αποτελέσματα βαθμολογούνται ξανά από ένα μοντέλο που διαβάζει μαζί ερώτηση και απόσπασμα, και κρατιούνται τα πέντε έως είκοσι καλύτερα.
- Απάντηση με παραπομπές: τα αποσπάσματα δίνονται στο μοντέλο, που απαντά με βάση αυτά και δείχνει ποιο απόσπασμα στηρίζει κάθε ισχυρισμό.
Η αναζήτηση με λέξεις-κλειδιά μετρά περισσότερο απ' όσο παραδέχονται οι περισσότεροι πωλητές. Βρίσκει ακριβείς κωδικούς προϊόντων, ονόματα και αριθμούς άρθρων που η αναζήτηση με βάση το νόημα χάνει, και οι δύο μέθοδοι αποτυγχάνουν σε διαφορετικές ερωτήσεις. Γι' αυτό η τυπική ροή χρησιμοποιεί και τις δύο.
Πότε ταιριάζει το RAG και πότε όχι;
Το RAG ταιριάζει όταν η απάντηση βρίσκεται σε έγγραφα, τα έγγραφα αλλάζουν και οι άνθρωποι θέλουν να δουν από πού ήρθε η απάντηση. Τυπικά παραδείγματα είναι οι απαντήσεις υποστήριξης από εγχειρίδια και πολιτικές, οι εσωτερικές ερωτήσεις πάνω σε διαδικασίες και συμβάσεις και οι απαντήσεις πωλήσεων από τιμοκατάλογο και κατάλογο προϊόντων.
Το RAG είναι λάθος εργαλείο σε τρεις περιπτώσεις:
- Όλο το υλικό χωρά στο παράθυρο του μοντέλου. Αν μια ερώτηση χρειάζεται είκοσι σελίδες και χωρούν άνετα, το να στείλετε και τις είκοσι είναι συχνά πιο απλό και καλύτερο.
- Η απάντηση είναι υπολογισμός πάνω σε γραμμές δεδομένων. Το «πόσες επιστροφές είχαμε τον Μάρτιο;» είναι ερώτημα σε βάση δεδομένων, οπότε αφήστε το μοντέλο να γράψει ή να διαλέξει το ερώτημα και όχι να διαβάζει φύλλα Excel σαν κείμενο.
- Το πρόβλημα είναι το ύφος, όχι η γνώση. Αν το μοντέλο ξέρει τα στοιχεία αλλά απαντά σε λάθος μορφή ή τόνο, το διορθώνουν παραδείγματα στην εντολή ή το fine-tuning. Το fine-tuning είναι για τη μορφή, όχι για τα γεγονότα.
Τι χαλάει πιο συχνά ένα σύστημα RAG;
Αυτό που χαλάει πιο συχνά ένα σύστημα RAG δεν είναι το μοντέλο. Είναι ότι το σωστό απόσπασμα δεν ανακτήθηκε ποτέ, ή ανακτήθηκε και αγνοήθηκε. Οι συνηθισμένες αιτίες είναι συγκεκριμένες:
- Ένας πίνακας ή μια λίστα κομμένα στη μέση από έναν τεμαχισμό που μετρά χαρακτήρες αντί να ακολουθεί το έγγραφο.
- Παλιά έγγραφα που προηγούνται των νέων. Η ανάκτηση κατατάσσει με βάση την ομοιότητα, όχι την αλήθεια ή την ημερομηνία, οπότε μια καλογραμμένη αλλά ξεπερασμένη πολιτική νικά μια σύντομη σωστή. Κάποιος πρέπει να έχει την ευθύνη των εγγράφων και να αποσύρει όσα έχουν παλιώσει.
- Φίλτρα που κόβουν σιωπηλά αποτελέσματα, όπως ο περιορισμός της αναζήτησης στα έγγραφα ενός τμήματος μέσα σε ένα ευρετήριο διανυσμάτων, που μπορεί να χάσει αποτελέσματα χωρίς κανένα μήνυμα λάθους.
- Κανείς δεν μετρά. Χωρίς ένα σταθερό σετ ερωτήσεων ελέγχου, κάθε αλλαγή στον τεμαχισμό ή στις εντολές είναι μαντεψιά.
Πόσο μεγάλο πρέπει να είναι ένα απόσπασμα και γιατί τα ελληνικά διαφέρουν;
Ένα απόσπασμα πρέπει να είναι περίπου 200 έως 512 tokens για συλλογές με σύντομες απαντήσεις γεγονότων και 512 έως 1.024 tokens, ή μία ολόκληρη σελίδα, για αναλυτικά έγγραφα, με μικρή επικάλυψη ανάμεσα στα γειτονικά. Αυτά τα νούμερα βγήκαν κυρίως σε αγγλικό κείμενο, και τα ελληνικά τα αλλάζουν. Στο σημερινό λεξιλόγιο της OpenAI τα ελληνικά χρειάζονται 2,06 φορές τα tokens των αγγλικών, και σε παλαιότερα λεξιλόγια που χρησιμοποιούν ακόμη ορισμένα μοντέλα embeddings χρειάζονται 5,12 φορές, όπως μέτρησα στο tokenlab. Ένα απόσπασμα 512 tokens χωρά λοιπόν περίπου το μισό ελληνικό κείμενο από όσο αγγλικό σε ένα σύγχρονο λεξιλόγιο, και πολύ λιγότερο σε ένα παλαιότερο. Ορίστε το μέγεθος μετρώντας tokens στα πραγματικά ελληνικά σας έγγραφα, όχι αντιγράφοντας έναν αριθμό από ένα αγγλικό tutorial.
Τι προσθέτει το contextual retrieval;
Το contextual retrieval προσθέτει σε κάθε απόσπασμα, πριν μπει στο ευρετήριο, μια σύντομη πρόταση που λέει από ποιο έγγραφο προέρχεται και τι αφορά, ώστε ένα απόσπασμα όπως «η χρέωση είναι 3%» να βρίσκεται ακόμη κι όταν χωριστεί από τον τίτλο του. Η Anthropic μέτρησε 49% λιγότερες αποτυχίες ανάκτησης στα πρώτα είκοσι αποτελέσματα, και 67% λιγότερες σε συνδυασμό με επαναταξινόμηση, με εφάπαξ κόστος περίπου ενός δολαρίου ανά εκατομμύριο tokens εγγράφων (Anthropic, contextual retrieval). Είναι η πιο τεκμηριωμένη βελτίωση αφού δουλέψει η βασική ροή.
Πώς ξέρετε ότι ένα σύστημα RAG δουλεύει;
Το ξέρετε όταν περνά ένα σταθερό σετ πραγματικών ερωτήσεων με γνωστές απαντήσεις, και συνεχίζει να το περνά μετά από κάθε αλλαγή. Η μέθοδος είναι απλή:
- Μαζέψτε 30 έως 100 πραγματικές ερωτήσεις από email, αιτήματα υποστήριξης ή συναδέλφους και σημειώστε ποιο έγγραφο απαντά την καθεμία.
- Μετρήστε την ανάκτηση χωριστά από την απάντηση: εμφανίστηκε το σωστό απόσπασμα στα πρώτα αποτελέσματα;
- Μετρήστε αν οι απαντήσεις στηρίζονται στις πηγές: υπάρχει για κάθε ισχυρισμό απόσπασμα που τον στηρίζει;
- Ξανατρέξτε το ίδιο σετ μετά από κάθε αλλαγή στον τεμαχισμό, στην αναζήτηση ή στις εντολές.
- Όταν το σύστημα λειτουργεί, παρακολουθήστε το ποσοστό των απαντήσεων «δεν βρέθηκε» και τις ερωτήσεις χωρίς καλό απόσπασμα, γιατί δείχνουν πού λείπουν έγγραφα.
Σταματά το RAG τις «παραισθήσεις» της τεχνητής νοημοσύνης;
Τις μειώνει, δεν τις σταματά. Ακόμη και εμπορικά εργαλεία νομικής έρευνας χτισμένα πάνω σε ανάκτηση έδωσαν λανθασμένες ή παραπλανητικές απαντήσεις σε περίπου μία στις έξι ερωτήσεις ελέγχου ή και περισσότερες, σε αξιολόγηση του Stanford (Stanford HAI). Οι λύσεις είναι επιλογές σχεδιασμού: υποχρεωτικές παραπομπές, έλεγχος ότι κάθε απόσπασμα στηρίζει πράγματι την πρότασή του και μια ρητή απάντηση «δεν υπάρχει στα έγγραφα» που το σύστημα επιτρέπεται να δίνει.
Συχνές ερωτήσεις
Χρειάζομαι vector database για το RAG;
Όχι πάντα. Η αναζήτηση με λέξεις-κλειδιά είναι από μόνη της ισχυρή βάση, και μια μικρή ή μεσαία συλλογή εγγράφων δουλεύει συχνά καλά με ευρετήριο λέξεων-κλειδιών και επαναταξινόμηση. Ένα ευρετήριο διανυσμάτων βοηθά όταν οι άνθρωποι ρωτούν με άλλα λόγια από αυτά των εγγράφων. Μετρήστε και τα δύο στις δικές σας ερωτήσεις πριν αγοράσετε υποδομή.
Δουλεύει το RAG με ελληνικά έγγραφα;
Ναι. Κανονικοποιήστε το κείμενο με συνέπεια, ορίστε το μέγεθος των αποσπασμάτων σε ελληνικά tokens και διαλέξτε πολύγλωσσο μοντέλο embeddings, αφού μια αξιολόγηση του 2026 βρήκε τα πολύγλωσσα μοντέλα μπροστά από τα ειδικά ελληνικά στην ανάκτηση ελληνικού κειμένου, και τον συνδυασμό λέξεων-κλειδιών και διανυσμάτων μπροστά από κάθε μεμονωμένο μοντέλο.
Είναι το RAG καλύτερο από το fine-tuning;
Για γεγονότα που αλλάζουν, ναι. Το RAG κρατά τη γνώση σε έγγραφα που ενημερώνετε και παραθέτετε, ενώ το fine-tuning ενσωματώνει μια συμπεριφορά μέσα στο μοντέλο. Χρησιμοποιήστε το RAG για ό,τι πρέπει να ξέρει το σύστημα και το fine-tuning, αν ποτέ, για το πώς πρέπει να απαντά.
Αν η ομάδα σας απαντά κάθε μέρα τις ίδιες ερωτήσεις από τα ίδια έγγραφα, στείλτε μου τρεις από αυτές τις ερωτήσεις και τα έγγραφα από όπου απαντώνται. Η εκδοχή για πελάτες βρίσκεται στη σελίδα τεχνητή νοημοσύνη για την εξυπηρέτηση πελατών.