Zomato fait passer son chatbot de support Zia à Llama 3 et annonce une satisfaction client multipliée par 2

Le problème

Zomato livre plus d’un million de commandes de repas par jour en Inde. Son ancien support reposait sur un menu d’options fixes et de réponses scénarisées. Il s’en sortait mal dans les situations inhabituelles, et des questions simples comme « où est ma commande » finissaient souvent chez un agent humain sans nécessité.

Ce qu’ils ont construit

Zia est un bot de support conversationnel. Les clients décrivent leur problème en langage courant. Le bot peut aussi agir : il peut ajouter des instructions de livraison ou annuler une commande. Zomato suivait les notes données aux chats (CSAT), la part des chats résolus sans intervention humaine, le coût et le temps de réponse, avec un objectif de moins de 10 secondes.

La première version tournait sur des modèles propriétaires, dont GPT-4, ce qui posait des problèmes de coût et de vitesse. Après la sortie de Llama 3 par Meta, un modèle open-weight dont les fichiers sont publiés pour que les entreprises puissent l’exécuter ou l’adapter, Zomato est passé à Llama 3 sur la plateforme de Together AI.

Comment ils s’y sont pris

Le bot fonctionne par étapes. Il détermine d’abord de quelles données il a besoin, n’appelle que les systèmes internes utiles, met les données en langage clair, puis les combine avec l’historique du chat et les consignes métier dans le prompt final. En parallèle, une étape distincte repère les actions possibles et les vérifie au regard du statut de la commande et de l’historique du client. Le client voit une fenêtre de confirmation avant que quoi que ce soit ne s’exécute.

Une couche de règles se superpose au modèle. Celui-ci doit associer toute escalade vers une personne à un motif prédéfini, et ce motif est vérifié par rapport aux données de la commande. Zomato l’a ajoutée après que des décisions prises par le seul modèle ont fait osciller le taux de traitement sans humain entre 80 % et 50 %.

Les modèles 70B, plus grands, gèrent la détection d’intention et les tâches critiques. Les modèles 8B, plus petits, rédigent les réponses du chat. Une capacité serverless partagée couvre le trafic normal et une capacité dédiée couvre les pics des heures de repas, de 10 à 50 fois le trafic normal.

Chaque modification du système est relue par des personnes. Une part des réponses réelles est échantillonnée pour une notation humaine, et un juge IA est également utilisé, sur quatre mesures : cohérence factuelle, pertinence, respect des consignes et résolution ou non du problème du client.

Résultats

Together AI annonce un score CSAT multiplié par 2 et des temps de réponse moyens en baisse de 75 %, à moins de 10 secondes. Elle indique aussi que le système a géré plus de 1 000 messages par minute en pointe et plus de 80 000 clients lors d’une seule fête des Mères, et que davantage de demandes sont désormais entièrement résolues par l’IA à moindre coût. Elle ne donne aucun chiffre pour l’économie réalisée.

Ce qu’il faut retenir

Encadrez le modèle par des règles strictes pour les décisions aux conséquences réelles, comme l’escalade et les remboursements, et demandez au client de confirmer avant qu’il n’agisse. Testez des modèles ouverts face à vos modèles actuels sur vos propres chats avant de changer.