T-Tech automatizza il 45% delle sessioni di assistenza clienti con un modello Qwen affinato

Il problema

L'assistenza clienti su larga scala si regge su software di flussi di lavoro aziendali, dove gli operatori passano da una schermata all'altra per risolvere ogni caso. Automatizzarla con script scritti a mano è lento da costruire e si rompe ogni volta che cambiano le schermate o i processi. Gli agenti di IA generalisti fanno molte chiamate al modello per caso, per cui i piccoli errori si sommano e il costo è alto.

Cosa hanno costruito

T-Tech ha costruito un agente di IA che lavora all'interno della sua piattaforma di gestione dei processi aziendali (BPM), il software che gli operatori usano per gestire le chat di assistenza. L'agente legge una vista strutturata della schermata e propone l'azione successiva, come cliccare un controllo, trasferire una chat o inviare un messaggio. Un secondo modello, detto critico, valuta quanto l'agente sia sicuro. Solo i passaggi ad alta affidabilità vengono eseguiti da soli. Per tutto ciò che è incerto, l'agente restituisce il caso a un operatore e prosegue dalla schermata aggiornata.

Il modello è Qwen2.5-Instruct-7B di Alibaba, a pesi aperti, affinato sui dati propri di T-Tech. Gli autori hanno scelto la taglia 7B perché offriva il miglior equilibrio tra velocità e throughput per il loro budget di serving.

Come ci sono riusciti

L'introduzione ha tre fasi. Prima la piattaforma si limita a registrare ciò che fanno gli operatori. Poi il modello gira come copilota: gli operatori accettano il suo suggerimento o lo correggono, e questo riscontro addestra il modello di affidabilità. Infine il sistema esegue in background i passaggi ad alta affidabilità. Gli autori dicono che un nuovo processo raggiunge l'automazione selettiva in circa due settimane senza regole scritte a mano.

Il traffico di assistenza è suddiviso per tipi di richiesta, ciascuno con i propri modelli, così una deriva in un'area può essere isolata. Se i segnali di qualità peggiorano per un segmento, l'automazione si disattiva lì e il sistema torna in modalità copilota per raccogliere nuovi riscontri. I dati di addestramento sono anonimizzati prima dell'uso.

Risultati

Gli autori riferiscono che il sistema ha automatizzato completamente il 45% delle sessioni in produzione. In un test A/B con 15,5 mila clienti per gruppo per 7 giorni, il tempo attivo medio dell'operatore per cliente è sceso da 227,37 secondi a 139,15 secondi (-39%) rispetto alla gestione solo umana. Rispetto al chatbot esistente con passaggi predefiniti (77 mila clienti per gruppo, 32 giorni) è sceso da 124,67 a 104,72 secondi (-16%). Una revisione in cieco degli operatori non ha trovato differenze statisticamente significative nella qualità di risoluzione in nessuno dei due test.

Gli operatori hanno accettato le azioni di routine, come il trasferimento di una chat, nel 91,7% dei casi, ma le risposte a testo libero solo nel 50,81% dei casi. Gli autori indicano la messaggistica in linguaggio naturale come il principale limite a un'ulteriore automazione.

Cosa è andato storto

Gli operatori hanno rifiutato una parte dei suggerimenti. Gli autori hanno analizzato questi rifiuti e hanno scoperto che il 37,2% erano azioni accettabili che l'operatore aveva semplicemente scelto di fare in modo diverso, per esempio ammorbidendo la formulazione di un messaggio. I casi al di fuori dei dati di addestramento, come nuovi elementi della schermata o richieste insolite, sono un punto debole noto, ed è per questo che il sistema si affida alle persone quando è incerto.

Cosa replicare

Far girare prima il sistema come copilota e usare i clic di accettazione e correzione degli operatori come dati di addestramento. Automatizzare i passaggi ripetitivi a basso rischio prima di qualsiasi cosa rivolta al cliente. Monitorare il tempo dell'operatore per cliente in un test controllato e aggiungere un interruttore che riporti un tipo di caso alla gestione umana quando la qualità cala.