Zomato zet zijn supportchatbot Zia over op Llama 3 en meldt 2 keer zo hoge klanttevredenheid

Het probleem

Zomato bezorgt in India meer dan een miljoen maaltijden per dag. De oude support was een menu met vaste opties en vooraf geschreven antwoorden. Ongewone situaties kon die slecht aan, en eenvoudige vragen zoals "waar is mijn bestelling" gingen vaak onnodig naar een medewerker.

Wat ze bouwden

Zia is een conversationele supportbot. Klanten typen hun probleem in gewone taal. De bot kan ook handelen: hij kan bezorginstructies toevoegen of een bestelling annuleren. Zomato hield chatbeoordelingen (CSAT) bij, het aandeel chats dat zonder mens werd opgelost, de kosten en de reactietijd, met als doel minder dan 10 seconden.

De eerste versie draaide op gesloten modellen, waaronder GPT-4, wat zorgen over kosten en snelheid gaf. Nadat Meta Llama 3 uitbracht, een open-weight model waarvan de bestanden openbaar zijn zodat bedrijven het zelf kunnen draaien of aanpassen, stapte Zomato over op Llama 3 op het platform van Together AI.

Hoe ze het aanpakten

De bot werkt in stappen. Eerst bepaalt hij welke gegevens hij nodig heeft, roept hij alleen de relevante interne systemen aan, zet hij de gegevens om in gewone taal en combineert hij ze met de chatgeschiedenis en de bedrijfsrichtlijnen in de uiteindelijke prompt. Tegelijk herkent een aparte stap mogelijke acties en toetst die aan de status van de bestelling en de geschiedenis van de klant. De klant ziet een bevestigingsscherm voordat er iets wordt uitgevoerd.

Daarbovenop ligt een beleidslaag. Het model moet elke escalatie naar een mens voorzien van een vooraf bepaalde reden, en die reden wordt getoetst aan de bestelgegevens. Zomato voegde die toe nadat beslissingen die alleen het model nam, het aandeel chats zonder mens tussen 80% en 50% lieten schommelen.

Grotere 70B-modellen doen het herkennen van de intentie en kritieke taken. Kleinere 8B-modellen schrijven de chatantwoorden. Gedeelde serverless capaciteit dekt het normale verkeer en toegewezen capaciteit dekt de pieken rond maaltijden van 10 tot 50 keer.

Elke systeemwijziging wordt door mensen beoordeeld. Een deel van de live antwoorden wordt als steekproef voor menselijke beoordeling genomen, en ook een AI-rechter wordt ingezet, op vier maten: feitelijke consistentie, relevantie, naleving van de richtlijnen en of het probleem van de klant is opgelost.

Resultaten

Together AI meldt een verbetering van de CSAT-scores met een factor 2 en gemiddelde reactietijden die met 75% dalen tot onder de 10 seconden. Het zegt ook dat het systeem op piekmomenten meer dan 1.000 berichten per minuut verwerkte en op één Moederdag meer dan 80.000 klanten, en dat nu meer verzoeken tegen lagere kosten volledig door de AI worden opgelost. Een cijfer voor de kostenbesparing geeft het niet.

Wat u kunt overnemen

Zet harde regels om het model heen bij beslissingen met echte gevolgen, zoals escalaties en terugbetalingen, en laat de klant bevestigen voordat het handelt. Test open modellen met uw eigen chats tegen uw huidige modellen voordat u overstapt.