Zomato pasa su chatbot de atención Zia a Llama 3 y comunica que la satisfacción del cliente se multiplica por 2

El problema

Zomato reparte más de un millón de pedidos de comida al día en la India. Su antiguo flujo de atención era un menú de opciones fijas y respuestas guionizadas. Funcionaba mal en situaciones inusuales, y preguntas sencillas como «¿dónde está mi pedido?» pasaban a menudo a un agente humano sin necesidad.

Qué construyeron

Zia es un bot de atención conversacional. Los clientes escriben su problema con sus propias palabras. El bot también puede actuar: puede añadir instrucciones de entrega o cancelar un pedido. Zomato seguía las valoraciones de los chats (CSAT), la proporción de chats resueltos sin intervención humana, el coste y el tiempo de respuesta, con un objetivo de menos de 10 segundos.

La primera versión funcionaba con modelos cerrados, entre ellos GPT-4, lo que planteaba dudas de coste y velocidad. Después de que Meta lanzara Llama 3, un modelo open-weight cuyos archivos se publican para que las empresas puedan ejecutarlo o adaptarlo, Zomato pasó a Llama 3 en la plataforma de Together AI.

Cómo lo hicieron

El bot trabaja por pasos. Primero clasifica qué datos necesita, llama solo a los sistemas internos pertinentes, convierte los datos en lenguaje llano y los combina con el historial del chat y las directrices del negocio en el prompt final. En paralelo, otro paso detecta posibles acciones y las contrasta con el estado del pedido y el historial del cliente. El cliente ve una ventana de confirmación antes de que se ejecute nada.

Encima hay una capa de políticas. El modelo debe etiquetar cualquier derivación a una persona con un motivo predefinido, y ese motivo se contrasta con los datos del pedido. Zomato la añadió después de que las decisiones tomadas solo por el modelo hicieran oscilar la contención entre el 80 % y el 50 %.

Los modelos 70B, más grandes, se encargan de detectar la intención y de las tareas críticas. Los modelos 8B, más pequeños, redactan las respuestas del chat. La capacidad serverless compartida cubre el tráfico normal y la capacidad dedicada cubre los picos de las horas de comida, de 10 a 50 veces.

Cada cambio en el sistema lo revisan personas. Se toma una muestra de las respuestas reales para una evaluación humana y también se usa un juez de IA, con cuatro medidas: coherencia de los hechos, relevancia, cumplimiento de las directrices y si se resolvió el problema del cliente.

Resultados

Together AI comunica una mejora de 2 veces en las puntuaciones CSAT y unos tiempos medios de respuesta que bajan un 75 % hasta menos de 10 segundos. También dice que el sistema gestionó más de 1.000 mensajes por minuto en hora punta y a más de 80.000 clientes en un solo Día de la Madre, y que ahora la IA resuelve por completo más solicitudes a menor coste. No da ninguna cifra del ahorro.

Qué replicar

Ponga reglas estrictas alrededor del modelo en las decisiones con consecuencias reales, como las derivaciones y los reembolsos, y pida al cliente que confirme antes de que actúe. Pruebe modelos abiertos frente a los actuales con sus propios chats antes de cambiar.