Zomato porta il suo chatbot di assistenza Zia su Llama 3 e dichiara una soddisfazione dei clienti migliorata di 2 volte

Il problema

Zomato consegna in India oltre un milione di ordini di cibo al giorno. La vecchia assistenza era un menu di opzioni fisse con risposte preimpostate. Gestiva male le situazioni insolite, e domande semplici come "dov'è il mio ordine" finivano spesso inutilmente a un operatore umano.

Cosa hanno costruito

Zia è un bot di assistenza conversazionale. I clienti scrivono il problema in linguaggio naturale. Il bot può anche agire: può aggiungere istruzioni di consegna o annullare un ordine. Zomato monitorava le valutazioni delle chat (CSAT), la quota di chat risolte senza intervento umano, il costo e il tempo di risposta, con un obiettivo di meno di 10 secondi.

La prima versione girava su modelli chiusi, tra cui GPT-4, il che sollevava dubbi su costi e velocità. Dopo il rilascio di Llama 3 da parte di Meta, un modello open-weight i cui file sono pubblicati perché le aziende possano eseguirlo o adattarlo, Zomato è passata a Llama 3 sulla piattaforma di Together AI.

Come ci sono riusciti

Il bot lavora per passaggi. Prima classifica di quali dati ha bisogno, chiama solo i sistemi interni pertinenti, trasforma i dati in linguaggio semplice e li combina con la cronologia della chat e le linee guida aziendali nel prompt finale. In parallelo, un passaggio separato individua le possibili azioni e le verifica rispetto allo stato dell'ordine e alla storia del cliente. Il cliente vede una finestra di conferma prima che venga eseguito qualsiasi comando.

Sopra c'è uno strato di regole. Il modello deve etichettare ogni escalation verso una persona con un motivo predefinito, e quel motivo viene verificato rispetto ai dati dell'ordine. Zomato lo ha aggiunto dopo che le decisioni prese dal solo modello facevano oscillare la quota di chat gestite senza intervento umano tra l'80% e il 50%.

I modelli 70B, più grandi, gestiscono il riconoscimento dell'intento e i compiti critici. I modelli 8B, più piccoli, scrivono le risposte della chat. La capacità serverless condivisa copre il traffico normale e la capacità dedicata copre i picchi dei pasti, da 10 a 50 volte.

Ogni modifica al sistema è rivista da persone. Una parte delle risposte reali viene campionata per una valutazione umana, e si usa anche un giudice IA, su quattro misure: coerenza dei fatti, pertinenza, rispetto delle linee guida e se il problema del cliente è stato risolto.

Risultati

Together AI dichiara un miglioramento di 2 volte dei punteggi CSAT e tempi medi di risposta in calo del 75% fino a meno di 10 secondi. Afferma inoltre che il sistema ha gestito oltre 1.000 messaggi al minuto nei picchi e più di 80.000 clienti in una sola Festa della mamma, e che ora più richieste sono risolte interamente dall'IA a costi inferiori. Non fornisce alcuna cifra sul risparmio.

Cosa replicare

Mettere regole rigide attorno al modello per le decisioni con conseguenze reali, come le escalation e i rimborsi, e chiedere al cliente di confermare prima che agisca. Provare i modelli aperti contro quelli attuali sulle proprie chat prima di cambiare.