Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Swiggy
Swiggy Instamart nutzt Bild-KI, um Erstattungsanträge zu entscheiden und Rücksendungen zu prüfen
Swiggy Instamart nutzt Vision-Language-KI, um Fotos zu Kundenreklamationen zu prüfen und Artikel bei der Abholung von Rücksendungen zu verifizieren, und ersetzt damit bei eindeutigen Fällen die manuelle Prüfung. Swiggy meldet, dass die Quote falscher Nicht-übereinstimmend-Ergebnisse bei der Rücksendeprüfung von 60 % beim Start auf 17 % gesunken ist und täglich mehr als 5.000 Rückgabe-Tickets ohne Mitarbeitende gelöst werden.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
60 %
auf 23 % auf 17 %
Quote falscher Nicht-übereinstimmend-Ergebnisse bei Rücksendungen, vom Start bis nach der automatisierten Prompt-Optimierung1
98,5 %
Genauigkeit des Reverse Quality Check (RQC) bei Rücksendungen1
>5.000
RQC-Tickets, die täglich ohne menschliches Eingreifen gelöst werden1
plus 6 %
Veränderung des Kundenzufriedenheitswerts1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Swiggy Instamart erhält täglich mehr als 40.000 Kundenreklamationen zu falschen, abgelaufenen, beschädigten, minderwertigen oder schlecht verpackten Artikeln. Wenn Regeln und Betrugsmodelle eine Reklamation anhand eines Fotos nicht entscheiden konnten, verglich ein menschlicher Mitarbeiter sie mit dem Katalog und entschied. Die Kosten wuchsen mit dem Volumen, Entscheidungen waren uneinheitlich und Kunden mussten warten. Bei Rücksendungen sollte das Lieferpersonal den Artikel bei der Abholung prüfen, wurde aber für Tempo bezahlt, sodass die meisten Rücksendungen ungeprüft angenommen wurden.
Was sie gebaut haben
Swiggy hat zwei Systeme gebaut, die Vision-Language-Modelle nutzen, also KI-Modelle, die sowohl Bilder als auch Text lesen. Das Image Validation Model (IVM) prüft das Reklamationsfoto eines Kunden gegen das Katalogbild und liefert gültig, ungültig oder uneindeutig. Der Reverse Quality Check (RQC) vergleicht die Fotos des Lieferpartners bei der Abholung mit den Reklamationsfotos des Kunden und liefert übereinstimmend, nicht übereinstimmend oder uneindeutig.
Wie sie vorgegangen sind
Jede Reklamationsart hat einen eigenen Handler und Prompt, und das Kundenfoto gilt als Hauptbeleg. Der Code, nicht das Modell, steuert Weiterleitung, die Kombination mehrerer Fotos und die endgültige Entscheidung zu genehmigen, abzulehnen oder zu eskalieren. Reklamationen zu abgelaufenen Artikeln nutzen zwei Verfahren zum Lesen von Etikettendaten parallel. Kann der RQC keine Übereinstimmung bestätigen, erhält der Lieferpartner eine konkrete Nachricht und kann es bis zu 2-mal erneut versuchen, bevor eine manuelle Prüfung folgt. Fällt das System aus, geht die Reklamation in die manuelle Prüfung.
Ergebnisse
Die Quote falscher Nicht-übereinstimmend-Ergebnisse beim RQC, also berechtigter Rücksendungen, die fälschlich als Abweichung markiert wurden, lag zu Beginn bei 60 %, sank durch Prompt-Arbeit auf 23 % und durch automatisierte Prompt-Optimierung auf 17 %. Swiggy nennt außerdem mehr als 5.000 Tickets pro Tag, die ohne menschliches Eingreifen gelöst werden, eine RQC-Genauigkeit von 98,5 %, einen Anstieg des Kundenzufriedenheitswerts um 6 % und 20.000 weniger Image-Validation-Tickets pro Woche.
Was Sie übernehmen können
Vergleichen Sie Kandidatenmodelle anhand Ihrer eigenen gelabelten Fälle, einschließlich Kosten und Geschwindigkeit. Behalten Sie einen menschlichen Weg für unklare Fälle. Geben Sie den Menschen vor Ort präzises Feedback statt einer generischen Fehlermeldung.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Quote falscher Nicht-übereinstimmend-Ergebnisse bei Rücksendungen, vom Start bis nach der automatisierten Prompt-Optimierung | 60 % auf 23 % auf 17 %1 | |
| Genauigkeit des Reverse Quality Check (RQC) bei Rücksendungen | 98,5 %1 | |
| RQC-Tickets, die täglich ohne menschliches Eingreifen gelöst werden | >5.0001 | |
| Veränderung des Kundenzufriedenheitswerts | plus 6 %1 | |
| Rückgang des wöchentlichen Aufkommens an Image-Validation-Tickets | 20.0001 | |
| Täglich bearbeitete Reklamationen | mehr als 40.0001 |
Erkenntnisse für Ihr Projekt
Geben Sie dem Modell die visuellen Belege und lassen Sie die Entscheidungen im Code. Swiggy lässt das Modell Fotos beurteilen, während Weiterleitung, Regeln und Geldentscheidungen deterministisch bleiben.
Testen Sie mehrere Modelle auf Ihren eigenen Produktionsdaten. Swiggy nutzt für das Lesen von Ablaufdaten ein anderes Modell als für andere Reklamationsarten.
Sagen Sie dem Personal vor Ort, was es korrigieren soll. Swiggy zufolge gingen etwa 60 % der ersten fehlgeschlagenen Abgleiche auf schlechte Fotos zurück, daher helfen gezielte Hinweise für den Neuversuch.
Rechnen Sie mit einem schlechten Start und planen Sie das Feintuning ein. Die Rücksendeprüfung begann mit einer Quote falscher Nicht-übereinstimmend-Ergebnisse von 60 % und wurde durch Prompt-Arbeit verbessert.
Einschränkungen
- Alle Zahlen stammen von Swiggy selbst, aus einem einzigen Beitrag im Engineering-Blog. Kein Außenstehender bestätigt sie.
- Der Beitrag führt seine Ergebnisse ohne Definitionen auf. Er sagt nicht, wie die RQC-Genauigkeit von 98,5 % oder die Veränderung der Zufriedenheit um 6 % gemessen wurden, und nennt keinen Vergleichszeitraum.
- Der Beitrag nennt kein Startdatum. Er sagt, die Systeme liefen seit über 6 Monaten in der Produktion; das angegebene Einführungsdatum ist daher das Datum des Beitrags, der tatsächliche Start lag früher.
- Der Beitrag nennt die eingesetzten Modelle: Gemini 2.5 Flash für die meisten Reklamationsarten und Rücksendeprüfungen sowie GPT-4o für Reklamationen zu abgelaufenen Artikeln. Außerdem wurde Claude Sonnet 4 verglichen, das nicht gewählt wurde.
- Die geschäftliche Wirkung auf Betrugsverluste und Bestandsschwund wird nur in Worten beschrieben, ohne Zahl. Dass etwa 10 bis 15 % der zurückgesendeten Bestellungen falsch oder unvollständig sind, ist Swiggys Schätzung vor dem Start.
- Zu Kosten, Teamgröße oder Bauzeit gibt es keine Angaben.
Quellen
- Building Production-Scale Visual AI for Claims and Returns at Swiggy Instamart
Swiggy Bytes (Medium) · 2026-06-16 · Unternehmensblog · medium.com
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.