Un sistema RAG che dà una risposta sbagliata può sbagliare in tre punti diversi, e la maggior parte delle valutazioni superficiali li confonde in un unico numero.
Il recupero può aver selezionato i passaggi sbagliati. Il modello può aver interpretato male passaggi corretti. Oppure il modello può aver aggiunto un’affermazione che nei passaggi recuperati non c’è. Sono tre errori diversi, con tre correzioni diverse, e si vedono solo se si valutano separatamente.
Perché un numero solo non basta
L’architettura di un RAG ha due fasi distinte: recupero e generazione. Una valutazione che misura solo “la risposta finale è corretta” tratta queste due fasi come una scatola nera. Se il numero è basso, non si sa se il problema è nell’indice, nel recupero o nel modello — e senza saperlo, la correzione diventa un tentativo alla cieca.
Per questo conviene separare la valutazione in tre livelli, ciascuno con la propria misura.
Primo livello: il recupero ha trovato i passaggi giusti?
Prima ancora di generare, il sistema deve trovare i passaggi realmente rilevanti alla domanda. Si misura confrontando, su un insieme di domande con la risposta nota, quali passaggi il sistema ha effettivamente recuperato contro quelli che un esperto avrebbe indicato come pertinenti.
Due grandezze contano qui. Quanti dei passaggi rilevanti sono stati trovati — se mancano, la generazione non potrà mai essere corretta, indipendentemente da quanto è bravo il modello. E quanti dei passaggi recuperati sono davvero pertinenti — troppo rumore nel contesto peggiora anche una generazione capace, perché il modello deve scartare da solo ciò che non serve.
Un problema di recupero si corregge sull’indicizzazione: come i documenti vengono suddivisi in porzioni, quali metadati vengono associati, quale rappresentazione numerica cattura meglio il significato per il vostro dominio. Non si corregge cambiando modello.
Secondo livello: la generazione usa correttamente ciò che ha ricevuto?
Dato lo stesso contesto recuperato, il modello produce sempre la stessa risposta corretta? Qui si isola la capacità di sintesi e ragionamento dal problema del recupero: si fissa il contesto e si valuta solo la generazione.
È il livello più simile a una valutazione di accuratezza tradizionale, con una differenza: il confronto è contro ciò che il contesto fornito permette di rispondere, non contro una verità assoluta. Se il contesto recuperato è incompleto, anche una generazione impeccabile produrrà una risposta parziale — e questo non è un errore di generazione, è un errore ereditato dal primo livello.
Terzo livello: la risposta è fedele a quello che è stato recuperato?
Questo è il livello che distingue un RAG affidabile da uno che sembra affidabile. Fedeltà — o groundedness — significa che ogni affermazione nella risposta è effettivamente supportata dai passaggi recuperati, non aggiunta dal modello per completare un pattern plausibile.
Si misura verificando, affermazione per affermazione, se il testo recuperato la sostiene. Una risposta può essere fattualmente corretta e comunque infedele, se l’informazione corretta non veniva dal contesto fornito ma dalla memoria del modello: in quel caso il sistema ha funzionato per caso, non per progetto, e la citazione della fonte diventerebbe fuorviante perché punterebbe a un passaggio che non contiene davvero ciò che afferma.
Il tasso di allucinazione si misura qui: non come proprietà generica del modello, ma come frequenza con cui la generazione si allontana da quello che il recupero ha effettivamente fornito.
Perché i tre livelli vanno letti insieme, non sommati
Un’accuratezza end-to-end alta può nascondere un problema di fedeltà se le domande di prova sono facili da rispondere anche dalla sola memoria del modello. Un tasso di fedeltà alto con una copertura di recupero bassa descrive un sistema che sa astenersi correttamente più che un sistema che risponde bene. Nessuno dei tre numeri, da solo, dice se il sistema è pronto per la produzione — la lettura richiede i tre insieme, per lo stesso motivo per cui una singola percentuale su un RAG è quasi sempre una semplificazione eccessiva.
In chiusura
Separare recupero, generazione e fedeltà costa più tempo di una valutazione end-to-end. Il ritorno è che, quando un sistema in produzione peggiora, si sa subito dove guardare: se è cambiato l’indice, se è cambiato il modello, o se il corpus documentale contiene versioni contraddittorie che nessun livello di valutazione può risolvere da solo.
Se state costruendo o valutando un sistema RAG, siamo disponibili a un confronto sull’insieme di prova e sulle metriche più adatte alla vostra architettura.
