Ottantasei per cento di accuratezza è una cifra facile da scrivere in una slide e difficile da verificare, se non si dice anche su che cosa è stata calcolata.
Questo articolo fa il percorso inverso: parte dal numero pubblicato nel caso Gruppo SAG e mostra il metodo che c’è dietro. Non per aggiungere dettaglio tecnico fine a se stesso, ma perché un numero senza perimetro, campione e metrica non è una misura: è una promessa.
Il problema che il numero descrive
Gruppo SAG riceve tavole tecniche CAD da clienti e fornitori diversi, in formati e standard grafici non uniformi. La lettura delle quote dimensionali, delle tolleranze e la verifica di conformità alle normative ISO, EN e DIN applicabili veniva fatta a mano dall’ufficio tecnico: lenta, ripetitiva, esposta a errori di trascrizione con impatto diretto su preventivazione e qualità.
Il sistema costruito legge le tavole con modelli Vision-Language e OCR, estrae quote e tolleranze, le confronta con le normative pertinenti e segnala scostamenti e casi dubbi per revisione. È lo stesso schema descritto, in forma di scenario, nel caso studio sull’estrazione dati da documenti non standardizzati: qui parliamo però del progetto reale, con il dato misurato.
Che cosa abbiamo misurato, esattamente
Quattro elementi, nell’ordine in cui vanno dichiarati prima di pubblicare una percentuale.
Il perimetro. Non l’intero parco tavole di Gruppo SAG, ma il sottoinsieme delle tipologie più ricorrenti e delle normative ISO applicabili alle famiglie di prodotto selezionate per l’avvio. Una percentuale calcolata su un perimetro diverso da quello dichiarato non è confrontabile con niente.
Il campione di confronto. Un insieme di disegni tecnici reali del cliente, con le quote lette e verificate manualmente dall’ufficio tecnico come riferimento. Non disegni sintetici, non casi scelti per essere favorevoli: lo stesso materiale che l’ufficio tecnico lavora ogni giorno.
La metrica. Quote dimensionali estratte correttamente sul totale delle quote presenti nel campione. Il denominatore include anche le quote che il sistema non ha letto, non solo quelle su cui si è espresso: è la differenza tra accuratezza e copertura descritta in come si valuta un sistema di AI prima della produzione, e qui le due cose vengono tenute distinte di proposito.
I casi a bassa confidenza. Segnalati per revisione dell’ufficio tecnico e conteggiati come non estratti, non esclusi dal calcolo. Escluderli avrebbe alzato artificialmente la percentuale senza cambiare il lavoro reale che resta da fare.
Il 14% che manca
Una quota dimensionale su sette, nel campione misurato, non viene letta correttamente.
Non è un dettaglio da minimizzare: è la ragione per cui la revisione umana sui casi incerti fa parte dell’architettura, non è un ripiego aggiunto per prudenza. Il sistema segnala i casi a bassa confidenza invece di indovinare, e quei casi restano carico di lavoro dell’ufficio tecnico finché la lettura non è verificata. È lo stesso principio applicato nel progetto di estrazione dati citato sopra: un perimetro ristretto e dichiarato produce un sistema affidabile, un perimetro ottimistico produce un sistema che funziona a metà su tutto.
Che cosa non diciamo ancora
Il numero di tavole e di quote del campione di confronto non è ancora pubblico: è un dato da confermare con il cliente prima di renderlo esplicito. Finché non lo è, evitiamo di far seguire all’86% una cifra di contesto che non abbiamo verificato per iscritto — meglio un perimetro descritto a parole che un secondo numero non controllabile quanto il primo.
Allo stesso modo, la misurazione copre il sottoinsieme di tavole e normative più ricorrenti selezionate per l’avvio, non l’intero parco tavole di Gruppo SAG: l’estensione alle altre famiglie di prodotto è la fase successiva del progetto, non un risultato già acquisito.
Perché pubblichiamo il metodo, non solo il numero
Perché un’organizzazione che deve autorizzare un sistema simile sui propri dati non ha bisogno di un altro claim rassicurante. Ha bisogno di sapere come verificare un claim — il proprio, prima ancora del nostro.
L’86% di Gruppo SAG e il tempo di preparazione di un preventivo, sceso da 4-5 ore-persona a pochi minuti, restano i due numeri che pubblichiamo con il metodo dietro. Sono anche l’esempio concreto di che cosa fa un sistema di Document Intelligence quando il problema è leggere documenti che non seguono uno standard.
Se state valutando un progetto simile, siamo disponibili a un confronto sul metodo di misurazione applicabile al vostro caso: quale campione, quale metrica, quale soglia sarebbe difendibile in sede di verifica.
