Swiggy Instamart utilise l'IA de vision pour régler les demandes de remboursement et vérifier les retours

Le problème

Swiggy Instamart reçoit plus de 40 000 réclamations de clients par jour concernant des articles erronés, périmés, abîmés, de mauvaise qualité ou mal emballés. Chaque fois que les règles et les modèles anti-fraude ne pouvaient pas trancher une réclamation à partir d'une photo, un agent humain la comparait au catalogue et décidait. Les coûts augmentaient au rythme du volume, les décisions étaient incohérentes et les clients attendaient. Pour les retours, le personnel de livraison devait contrôler l'article lors de la collecte, mais il était rémunéré à la vitesse, si bien que la plupart des retours étaient acceptés sans contrôle.

Ce qu’ils ont construit

Swiggy a construit deux systèmes qui utilisent des modèles vision-langage, c'est-à-dire des modèles d'IA qui lisent à la fois des images et du texte. L'Image Validation Model (IVM) examine la photo de réclamation d'un client au regard de l'image du catalogue et renvoie valide, invalide ou ambigu. Le Reverse Quality Check (RQC) compare les photos prises par le livreur lors de la collecte avec les photos de réclamation du client et renvoie conforme, non conforme ou ambigu.

Comment ils s’y sont pris

Chaque type de réclamation a son propre gestionnaire et son propre prompt, et la photo du client est traitée comme la preuve principale. Le code, et non le modèle, gère l'acheminement, la combinaison de plusieurs photos et la décision finale d'approuver, de rejeter ou d'escalader. Les réclamations sur des articles périmés utilisent en parallèle deux façons de lire les dates sur les étiquettes. Si le RQC ne peut pas confirmer une correspondance, le livreur reçoit un message précis et peut réessayer, jusqu'à 2 tentatives, avant une revue manuelle. Si le système est en panne, la réclamation part en revue manuelle.

Résultats

Le taux de faux « Non conforme » du RQC, c'est-à-dire de retours légitimes signalés à tort comme non conformes, est parti de 60 %, a baissé à 23 % grâce au travail sur les prompts, puis à 17 % grâce à l'optimisation automatisée des prompts. Swiggy cite aussi plus de 5 000 tickets par jour réglés sans intervention humaine, une précision de 98,5 % pour le RQC, une hausse de 6 % du score de satisfaction client et 20 000 tickets hebdomadaires de validation d'images en moins.

Ce qu’il faut retenir

Comparez des modèles candidats sur vos propres cas étiquetés, en tenant compte du coût et de la vitesse. Gardez une voie humaine pour les cas incertains. Donnez aux personnes sur le terrain un retour précis plutôt qu'une erreur générique.