Swiggy Instamart usa IA de visión para resolver reclamaciones de reembolso y verificar devoluciones

El problema

Swiggy Instamart recibe más de 40.000 reclamaciones de clientes al día sobre artículos equivocados, caducados, dañados, de mala calidad o mal embalados. Cuando las reglas y los modelos antifraude no podían resolver una reclamación a partir de una foto, un agente humano la comparaba con el catálogo y decidía. Los costes crecían al ritmo del volumen, las decisiones eran incoherentes y los clientes esperaban. En las devoluciones, el personal de reparto debía comprobar el artículo en la recogida, pero se le pagaba por rapidez, por lo que la mayoría de las devoluciones se aceptaban sin comprobar.

Qué construyeron

Swiggy construyó dos sistemas que usan modelos de visión y lenguaje, es decir, modelos de IA que leen tanto imágenes como texto. El Image Validation Model (IVM) examina la foto de reclamación de un cliente frente a la imagen del catálogo y devuelve válida, no válida o ambigua. El Reverse Quality Check (RQC) compara las fotos del repartidor en la recogida con las fotos de reclamación del cliente y devuelve coincide, no coincide o ambigua.

Cómo lo hicieron

Cada tipo de reclamación tiene su propio gestor y su propio prompt, y la foto del cliente se trata como la prueba principal. El código, no el modelo, se encarga del enrutamiento, de combinar varias fotos y de la decisión final de aprobar, rechazar o escalar. Las reclamaciones de artículos caducados usan en paralelo dos formas de leer las fechas de las etiquetas. Si el RQC no puede confirmar una coincidencia, el repartidor recibe un mensaje concreto y puede reintentarlo, hasta 2 intentos, antes de la revisión manual. Si el sistema está caído, la reclamación pasa a revisión manual.

Resultados

La tasa de falsos «No coincide» del RQC, es decir, devoluciones legítimas marcadas por error como discrepancia, empezó en el 60 %, bajó al 23 % con trabajo sobre los prompts y al 17 % con la optimización automatizada de prompts. Swiggy también indica más de 5.000 tickets al día resueltos sin intervención humana, una precisión del 98,5 % del RQC, un aumento del 6 % en la puntuación de satisfacción del cliente y 20.000 tickets semanales menos de validación de imágenes.

Qué replicar

Compare modelos candidatos con sus propios casos etiquetados, incluidos el coste y la velocidad. Mantenga una vía humana para los casos poco claros. Dé a las personas sobre el terreno una respuesta precisa en lugar de un error genérico.