La domanda non è se funziona. È: su quali casi funziona, con quale margine di errore, e chi lo ha verificato.
La differenza tra le due formulazioni è la differenza tra una dimostrazione e un collaudo. La prima si conclude con un’impressione condivisa in sala. Il secondo si conclude con un documento che riporta numeri, metodo e responsabile della verifica.
Nei contesti con responsabilità formali solo il secondo consente di autorizzare la messa in esercizio.
Costruire un insieme di casi di prova
È l’attività che determina la qualità di tutta la valutazione, e richiede il tempo delle persone che conoscono il dominio.
Le domande vanno raccolte, non inventate. La fonte migliore sono le richieste reali: ticket, email agli uffici, domande poste ai colleghi esperti, richieste di chiarimento ricorrenti. Un insieme costruito a tavolino riflette ciò che il progettista immagina, non ciò che gli utenti chiedono.
Le categorie da includere sono cinque. I casi ordinari, che rappresentano il volume. I casi difficili, dove la risposta richiede di combinare più fonti. I casi ambigui, formulati in modo impreciso come accade nella realtà. I casi limite, rari ma con conseguenze rilevanti. E i casi senza risposta, cioè domande la cui risposta non è presente in archivio.
L’ultima categoria è la più trascurata e la più informativa. Verifica se il sistema sa astenersi, che è la proprietà più difficile da ottenere e la più importante in un contesto di controllo.
La proporzione conta. Un insieme composto per il novanta per cento da casi ordinari produce un risultato lusinghiero e poco utile. Conviene sovrarappresentare i casi difficili rispetto alla loro frequenza reale, purché il calcolo finale sia poi riponderato.
La risposta attesa va definita prima. Da una persona competente, con l’indicazione della fonte corretta. È lavoro qualificato e va messo a piano: per un insieme di duecento casi si tratta di giornate, non di ore.
Metriche comprensibili alla direzione
Quattro misure, sufficienti nella maggior parte dei casi e spiegabili senza tecnicismi.
Accuratezza sulle risposte fornite. Su cento risposte prodotte, quante sono corrette nel merito. È la misura principale e va sempre accompagnata dal denominatore, perché un’accuratezza alta su poche risposte è compatibile con un sistema poco utile.
Copertura. Su cento domande poste, a quante il sistema ha risposto. Insieme all’accuratezza descrive il comportamento complessivo: le due si muovono in direzioni opposte al variare delle soglie.
Correttezza delle citazioni. Quante volte la fonte indicata contiene effettivamente quanto affermato. È una verifica distinta dall’accuratezza: una risposta può essere corretta e citare la fonte sbagliata, e in un contesto di audit è un problema.
Tasso di astensione appropriata. Sulle domande senza risposta in archivio, quante volte il sistema ha dichiarato di non avere elementi invece di produrre una risposta.
Un’avvertenza sulla comunicazione di questi numeri. Una singola percentuale complessiva nasconde le differenze tra categorie. Il dato utile alla direzione è la tabella per categoria di caso, perché consente di decidere su quali tipologie autorizzare l’uso e su quali no.
Il confronto con la baseline umana
È il passaggio che manca più spesso, e senza il quale i numeri non sono interpretabili.
Un’accuratezza dell’ottantacinque per cento è un risultato buono o insufficiente? Dipende da quanto accurato è il processo attuale sulla stessa attività, e la risposta sorprende in entrambe le direzioni.
Il confronto si costruisce facendo eseguire lo stesso insieme di casi a operatori esperti, in condizioni di lavoro realistiche. Non in condizioni ideali: con il carico e i tempi ordinari.
I risultati vanno letti su tre dimensioni. L’accuratezza, che nei casi ordinari è spesso comparabile e nei casi difficili tende a favorire l’operatore esperto. La variabilità tra operatori, che è quasi sempre maggiore di quanto l’organizzazione si aspetti ed è uno degli argomenti più solidi a favore di un supporto automatico. E il tempo impiegato.
Il confronto ha anche un effetto sul processo: rende visibile che l’attuale modo di lavorare ha un tasso di errore, che nessuno aveva mai misurato.
La verifica periodica dopo il rilascio
Il collaudo iniziale non è sufficiente, perché il sistema cambia anche se nessuno lo modifica.
Tre attività ricorrenti.
Ripetere la valutazione sull’insieme di prova con cadenza definita, e comunque a ogni cambio di modello, di configurazione o di corpus documentale rilevante. È un’esecuzione automatizzabile, mentre l’analisi degli scostamenti no.
Raccogliere e classificare gli output corretti o rifiutati dagli operatori. È la fonte di informazione più ricca sul comportamento reale e va alimentata attivamente, perché non emerge da sola.
Estendere l’insieme di prova con i casi nuovi che si presentano in esercizio. Un insieme che resta identico per due anni perde progressivamente rappresentatività.
Che cosa la valutazione non garantisce
Non garantisce l’assenza di errori. Misura una frequenza su un campione, con l’incertezza statistica che ne consegue. Su un insieme di duecento casi, differenze di pochi punti percentuali tra due configurazioni possono non essere significative.
Non copre i casi non rappresentati. Un sistema valutato su domande documentali non è stato valutato su domande di calcolo.
Non sostituisce le verifiche di sicurezza. Accuratezza e robustezza agli input malevoli sono proprietà distinte, e la seconda richiede test avversariali dedicati.
E non decide al posto dell’organizzazione. Stabilire quale soglia di accuratezza sia accettabile per autorizzare l’uso è una scelta di rischio, che compete a chi risponde del processo.
In chiusura
Un sistema che non è stato valutato con metodo non è pronto per la produzione, indipendentemente da quanto convincente sia stata la dimostrazione.
L’insieme di prova, le quattro metriche, il confronto con la baseline e la cadenza di verifica sono elementi che si definiscono all’inizio del progetto, non alla fine. Definirli dopo significa costruire il collaudo attorno al sistema che si è ottenuto.
Se state per portare in esercizio un sistema, siamo disponibili a un confronto sul metodo di valutazione: quali casi includere, quali metriche adottare e quale soglia sarebbe difendibile in sede di verifica.
