Fine tuning e RAG sono due risposte a due problemi diversi. Confonderli è la causa più frequente di progetti costosi e poco utili.
La confusione ha un’origine comprensibile. Entrambe le tecniche servono ad adattare un modello generico al contesto di un’organizzazione, e nelle presentazioni commerciali vengono spesso proposte come alternative equivalenti, da scegliere in base al budget.
Non sono equivalenti. Risolvono problemi distinti e in molti progetti convivono.
RAG risolve l’accesso alla conoscenza aggiornata
Il problema: il modello non conosce i vostri documenti e non è aggiornato.
La soluzione: al momento della domanda, il sistema recupera dai vostri archivi i contenuti pertinenti e li fornisce al modello insieme alla richiesta. La risposta viene costruita su quel materiale, con l’indicazione della fonte.
Le proprietà che ne derivano sono quattro, e sono la ragione per cui questa è l’architettura di riferimento nei contesti regolati.
L’aggiornamento è immediato. Una circolare modificata è disponibile appena reindicizzata, senza toccare il modello.
La risposta è verificabile. Ogni affermazione rimanda a un documento e a un punto preciso.
I permessi sono applicabili. Il recupero può essere filtrato in base ai diritti dell’utente, cosa impossibile con la conoscenza incorporata nei parametri di un modello.
Gli errori sono diagnosticabili. Si distingue se il problema è nel recupero, nella generazione o nel documento di origine.
Il fine tuning risolve stile, formato e compiti molto specifici
Il problema: il modello risponde correttamente nel merito, ma non nel modo richiesto.
Il fine tuning è un addestramento aggiuntivo su esempi selezionati, che modifica il comportamento del modello. Non serve a insegnargli fatti nuovi, o meglio: può farlo, ma è il modo peggiore di farlo, perché quei fatti diventano non aggiornabili, non citabili e non verificabili.
Serve invece in tre situazioni.
Il formato dell’output. Quando la risposta deve rispettare una struttura rigida e ricorrente: una classificazione su un insieme chiuso di categorie interne, un tracciato dati, uno schema di atto.
Il linguaggio specialistico. Quando il lessico di settore è distante dalla lingua comune al punto che il modello generico interpreta male i termini. Accade in ambiti tecnici e normativi molto verticali.
I compiti ripetitivi ad alto volume. Quando la stessa operazione viene eseguita milioni di volte, un modello più piccolo specializzato può risultare più rapido ed economico di un modello generale di grandi dimensioni, a parità di risultato sul compito specifico.
Fuori da questi tre casi, l’esperienza suggerisce che quasi tutto ciò che si otterrebbe con il fine tuning si ottiene prima con istruzioni ben progettate, esempi nel contesto e un buon recupero documentale.
Costi, tempi e manutenzione a confronto
Il confronto sul costo iniziale è fuorviante. Quello sulla manutenzione è decisivo.
RAG. Il costo iniziale è concentrato nella preparazione documentale: acquisizione, pulizia, metadati, indicizzazione, gestione dei permessi. È la voce che viene regolarmente sottostimata. La manutenzione consiste nel mantenere aggiornato l’indice, un’attività prevedibile e in larga parte automatizzabile. Il costo di esecuzione per singola interrogazione è più alto, perché ogni richiesta trasporta anche i documenti recuperati.
Fine tuning. Il costo iniziale è concentrato nella costruzione del set di esempi. Servono esempi corretti, coerenti e rappresentativi, prodotti da persone competenti: è lavoro umano qualificato, non un’attività tecnica. La manutenzione è il punto critico. Ogni volta che cambia il comportamento desiderato, o che il modello di base viene aggiornato o dismesso dal fornitore, il processo va rifatto. Il costo di esecuzione è più basso e la latenza inferiore.
Un elemento spesso trascurato: il fine tuning vincola a un modello. Quando quel modello viene superato, e accade con regolarità, il lavoro va replicato. Un’architettura basata sul recupero documentale consente invece di sostituire il modello con un impatto contenuto.
Un albero decisionale in quattro domande
Il problema è che il modello non conosce informazioni specifiche, aggiornate o riservate? Se sì, serve il recupero documentale. Il fine tuning su questi contenuti li renderebbe non aggiornabili e non citabili.
Il problema è che la risposta deve rispettare un formato rigido o un lessico molto specifico, e le istruzioni non bastano? Se sì, il fine tuning è un candidato. Prima di procedere, però, va verificato che istruzioni strutturate ed esempi nel contesto siano stati realmente provati: nella maggior parte dei casi risolvono.
Il compito è ripetitivo, ad altissimo volume, e il costo per singola operazione è un vincolo? Se sì, un modello più piccolo specializzato può essere giustificato dal risparmio operativo.
Le risposte devono essere verificabili e riferite a una fonte? Se sì, il recupero documentale è obbligatorio, eventualmente in combinazione con un modello specializzato che ne struttura l’output.
Nella nostra esperienza la combinazione più frequente nei contesti regolati è recupero documentale per la conoscenza, istruzioni progettate per il comportamento, e fine tuning riservato ai compiti di classificazione ad alto volume.
Che cosa nessuna delle due tecniche risolve
Nessuna delle due compensa una base documentale disordinata. Il recupero restituirebbe fonti inaffidabili, il fine tuning apprenderebbe da esempi incoerenti.
Nessuna delle due elimina la necessità di valutazione. Un sistema va misurato su casi reali prima del rilascio, con un insieme di prova che includa i casi difficili, indipendentemente dall’architettura scelta.
E nessuna delle due sostituisce le regole deterministiche dove queste sono applicabili. Se un controllo si esprime come condizione verificabile, va implementato come tale: più affidabile, più economico, più semplice da spiegare in sede di verifica.
In chiusura
La scelta va fatta dopo aver definito il problema, non prima. Nella maggior parte dei casi che analizziamo, la domanda iniziale sul fine tuning nasconde un bisogno di accesso alla conoscenza aziendale, che si risolve diversamente e a costi inferiori.
Se state valutando l’architettura di un sistema, siamo disponibili a un confronto tecnico sul vostro caso: quale problema va risolto, quali dati sono disponibili e quale combinazione sarebbe sostenibile nel tempo.
