L’assistente di Airbnb che prende appunti in tempo reale per gli operatori del supporto riduce i tempi di gestione del 3%

Il problema

Quando una pratica di assistenza clienti passa tra telefono, chat ed e-mail e tra più operatori, ogni operatore deve leggere l’intera cronologia prima di agire e poi scrivere appunti alla fine. Leggere e scrivere richiede tempo, e appunti scadenti portano a errori nei passaggi di consegne. Il sistema precedente di Airbnb scriveva un unico riepilogo al termine della conversazione. Gli operatori dicevano che arrivava troppo tardi per aiutarli mentre la pratica era aperta.

Cosa hanno costruito

Il team di Airbnb ha costruito un assistente che scrive brevi appunti puntati mentre la conversazione procede. Usa un modello Mixtral-8x7B, un modello a pesi aperti di Mistral AI (a pesi aperti significa che i file del modello sono pubblicati, così un’azienda può eseguirli e adattarli), affinato sui dati di supporto annotati di Airbnb. Un secondo modello, più piccolo, decide se un nuovo messaggio aggiunge qualcosa che valga la pena annotare, così saluti e frasi di riempimento non generano punti elenco. Quando gli operatori modificano un punto, la modifica viene mantenuta negli aggiornamenti successivi e viene usata anche per riaddestrare il modello.

Come ci sono riusciti

Il team ha valutato la qualità offline su 1.200 conversazioni di produzione campionate, usando un giudice basato su GPT-4o verificato su un campione controllato da persone. Poi ha confrontato le sedi pilota con tutte le altre sedi prima e dopo il rilascio. GPT-4o ha ottenuto un punteggio leggermente più alto per completezza nel test offline, ma gli autori affermano che costi, velocità e privacy dei dati lo hanno tenuto fuori dalla produzione. Hanno anche spostato il modello su un’infrastruttura di erogazione più veloce, e una versione a 8 bit ha ridotto l’uso di GPU da due A100 a una, con un calo dell’1% in completezza e veridicità.

Risultati

Su oltre il 92% dei casi in produzione, gli autori riferiscono un calo del 3% del tempo di gestione complessivo (la loro sezione dei risultati lo chiama tempo di lavoro degli operatori) e fino al 9% per i casi più complessi. Gli operatori hanno speso una quota minore del loro tempo a scrivere appunti a mano: il 10% prima e il 3% dopo. In un sondaggio su oltre mille operatori, la maggior parte si è detta soddisfatta della funzione in tutte e tre le lingue, con il francese più basso. Gli autori riferiscono inoltre che gli appunti del modello erano più completi di quelli scritti dagli operatori.

Cosa replicare

Partire da un problema degli operatori e costruire il ciclo di correzione fin dal primo giorno. Confrontare le sedi pilota con un gruppo di controllo, riportare ogni lingua separatamente e chiarire quali numeri sono opinioni da sondaggio e quali tempi misurati.