Ricerca semantica su documentazione normativa e compliance
Un gruppo bancario o assicurativo gestisce una mole crescente di normative interne, circolari, policy, procedure e documentazione di compliance distribuita tra più archivi. Il personale impiega tempo a reperire l'informazione corretta e il rischio non è solo operativo: una risposta non aggiornata può generare incoerenze nei controlli.
Analisi
Censimento delle fonti documentali esistenti, valutazione di qualità, aggiornamento e struttura dei dati, definizione dei casi d'uso prioritari: ricerca normativa interna, supporto ai controlli KYC/AML, due diligence documentale e verifica di coerenza tra policy. Il progetto è partito da un assessment di sei mesi sui dati (DWH), per normalizzare le fonti provenienti dai diversi gestionali: condizione necessaria perché il sistema RAG potesse basarsi su dati coerenti invece che su archivi eterogenei. In questa fase, il sistema di classificazione documentale ed estrazione campi ha raggiunto l'86% di accuratezza su un corpus di circa 25 milioni di pagine.
Soluzione
Piattaforma di Enterprise Search basata su RAG, con citazione della fonte per ogni risposta, controllo delle versioni e modello linguistico adattato al lessico normativo, bancario e assicurativo. Le risposte vengono progettate per supportare il lavoro del team, non per sostituire la responsabilità della funzione compliance.
Architettura
Vector Database per la ricerca semantica, Knowledge Graph per collegare normative correlate, gestione dei permessi per funzione, log delle interrogazioni e deployment ibrido per rispettare requisiti di data residency, sicurezza e audit.
Implementazione
Fase pilota con un singolo team di compliance, raccolta strutturata del feedback, costruzione di un set di domande di valutazione e successiva estensione ad altri uffici dopo validazione di accuratezza, fonti e comportamento sui casi dubbi. Nel 2026 il sistema si è esteso a un RAG documentale verticale sulle pratiche, oltre alla ricerca normativa iniziale.
Risultati misurati
- 86% di accuratezza nella classificazione documentale e nell'estrazione dei campi, misurata sulla fase di normalizzazione dati (DWH) su un corpus di circa 25 milioni di pagine
- Pratiche e analisi che richiedevano diversi giorni sono ora sintetizzate automaticamente e consultabili in linguaggio naturale, con una visione immediata dello stato e dei contenuti
- Maggiore coerenza nelle risposte fornite dal team di compliance
- Tracciabilità completa delle fonti citate in ogni risposta
- Minor rischio di usare versioni obsolete o interpretazioni non allineate
ROI: Il ROI viene letto come riduzione dei giorni di analisi necessari per pratica — ora sintetizzata e interrogabile in chat — oltre a minore rilavorazione e abbassamento del rischio operativo legato a interpretazioni incomplete o non aggiornate.
Perimetro e metodo di misurazione
- Fase di classificazione ed estrazione (DWH): 86% di accuratezza su un corpus di circa 25 milioni di pagine documentali, misurata prima dell'avvio del sistema di ricerca semantica, come condizione per avere dati normalizzati su cui costruire il RAG.
- Perimetro della ricerca semantica (RAG): fase pilota su un singolo team di compliance, con estensione ad altri uffici solo dopo la validazione su accuratezza, fonti e comportamento nei casi dubbi.
- Insieme di valutazione: 186 domande costruite insieme al team di compliance — 112 a risposta fattuale/documentale, 48 su scenari applicativi e procedurali, 26 volutamente ambigue o "adversarial" — che includono i casi difficili e le domande a cui l'archivio non contiene risposta.
- Grandezze misurate sul RAG: accuratezza sulle risposte fornite, copertura sulle domande poste e correttezza delle citazioni, valutate sullo stesso insieme di domande.
- Sulla ricerca semantica non dichiariamo una percentuale sintetica: le grandezze rilevanti sono tre, si muovono in direzioni opposte al variare delle soglie, e riportarne una sola sarebbe fuorviante. Sulla fase di classificazione a monte, invece, l'accuratezza è una metrica singola e ben definita: da qui l'86% sopra.
Perché non pubblichiamo una percentuale sola per la ricerca semanticaValutare un RAG su tre livelli: recupero, generazione, citazioni
Che cosa non ha risolto
- L’86% riguarda la fase di classificazione ed estrazione a monte (DWH), non la ricerca semantica: sul RAG non pubblichiamo una percentuale sintetica, perché accuratezza, copertura e correttezza delle citazioni si muovono in direzioni opposte al variare delle soglie.
- Il perimetro misurato è una fase pilota su un singolo team di compliance: l’estensione ad altri uffici è subordinata alla validazione su accuratezza, fonti e comportamento nei casi dubbi.
- Il sistema supporta il lavoro del team compliance e non sostituisce la responsabilità della funzione: ogni risposta va verificata sulla fonte citata.
Cliente: Progetto realizzato per FBS SPA. www.fbs.it