Un agente vocale che risponde al telefono ha un problema che un sistema testuale non ha: chi ascolta non può verificare una fonte mentre la conversazione è in corso.
In un testo, un’affermazione dubbia si può controllare prima di agire. Al telefono, una risposta sbagliata detta con naturalezza non lascia appigli: la persona la sente, la crede, e la conversazione è già andata avanti. Questo cambia che cosa conta misurare in un agente vocale, ed è il motivo per cui il numero più interessante di questo progetto non è il 90%.
Il numero che si nota per primo
Il 90% delle chiamate rientranti nel perimetro definito si conclude senza intervento umano. È il numero che si mette in una slide, ed è vero — ma vale solo sulle richieste per cui l’agente è stato progettato a rispondere. Le richieste fuori ambito vengono instradate a un operatore per progetto, non per un limite scoperto in produzione: il perimetro è stato definito prima, sulla base delle chiamate storiche realmente ricorrenti.
Il numero che conta di più
Sul restante 10%, il sistema ha instradato correttamente a un operatore nel 70% dei casi a bassa confidenza, invece di rispondere senza esserne sicuro.
È questo il dato che descrive se l’architettura funziona. Un sistema che risponde sempre, anche quando non dovrebbe, può sembrare più utile in una demo e diventare un rischio in produzione. Un sistema che sa fermarsi ha una proprietà più difficile da ottenere e più importante da misurare, come per l’astensione nei sistemi documentali: qui vale allo stesso modo, con un’aggravante — nella voce non c’è tempo per un secondo pensiero.
Come si misura, quando la fonte non si può mostrare
L’insieme di valutazione è fatto di conversazioni reali riascoltate e valutate, incluse le chiamate in cui l’agente ha correttamente rifiutato di rispondere. Le grandezze misurate sono tre: correttezza delle risposte fornite, quota di chiamate concluse senza intervento umano, e tasso di escalation. L’ultima non va letta come un difetto da minimizzare: un’escalation opportuna vale più di una risposta azzardata.
Il vincolo che ha guidato l’architettura più della qualità della singola risposta è la latenza: al telefono una pausa di due secondi è una conversazione già rotta. Il sistema costruisce ogni risposta su una knowledge base interrogata in tempo reale — non sulla sola memoria del modello — proprio perché un contenuto aggiornabile modificando l’archivio, invece che riaddestrando il sistema, è l’unico modo per restare corretti nel tempo dentro quel budget di tempo.
Che cosa resta da confermare
Il periodo di osservazione della misurazione non è ancora pubblico. E il vincolo di latenza resta strutturale: l’architettura privilegia i tempi di risposta conversazionali sulla qualità della singola risposta fuori dal perimetro definito, una scelta di progetto dichiarata, non un compromesso nascosto.
In chiusura
Un agente vocale che risponde sempre è più facile da mostrare in una demo. Un agente vocale che sa quando passare la chiamata è più difficile da costruire e più sicuro da mettere in produzione. Il 70% di instradamento corretto sui casi incerti è il numero che distingue le due cose, ed è per questo che lo pubblichiamo insieme al 90%, non al suo posto.
Il caso completo descrive architettura e perimetro. Se state valutando un agente vocale per chiamate in ingresso, siamo disponibili a un confronto su dove tracciare il perimetro per il vostro caso.
