El asistente de notas en directo de Airbnb para sus agentes de soporte reduce el tiempo de gestión un 3 %

El problema

Cuando un caso de atención al cliente pasa del teléfono al chat y al correo electrónico, y de un agente a otro, cada agente tiene que leer todo el historial antes de actuar y luego escribir notas al final. Esa lectura y esa escritura llevan tiempo, y unas notas deficientes provocan errores en los traspasos. El sistema anterior de Airbnb escribía un único resumen cuando terminaba la conversación. Los agentes decían que llegaba demasiado tarde para ayudarles mientras el caso seguía abierto.

Qué construyeron

El equipo de Airbnb creó un asistente que escribe notas breves en viñetas a medida que avanza la conversación. Usa un modelo Mixtral-8x7B, un modelo de pesos abiertos de Mistral AI (pesos abiertos significa que los archivos del modelo están publicados, de modo que una empresa puede ejecutarlos y adaptarlos), ajustado con los propios datos de soporte anotados de Airbnb. Un segundo modelo, más pequeño, decide si un mensaje nuevo aporta algo digno de anotarse, de modo que los saludos y el relleno no generen viñetas. Cuando los agentes editan una viñeta, la edición se conserva en las actualizaciones posteriores y también se usa para reentrenar el modelo.

Cómo lo hicieron

El equipo evaluó la calidad sin conexión sobre 1.200 conversaciones de producción muestreadas, con un evaluador basado en GPT-4o que contrastó con una muestra auditada por personas. Después comparó sedes piloto con todas las demás sedes antes y después del despliegue. GPT-4o obtuvo una puntuación ligeramente superior en exhaustividad en la prueba sin conexión, pero los autores dicen que el coste, la velocidad y la privacidad de los datos lo dejaron fuera de producción. También pasaron el modelo a una infraestructura de servicio más rápida, y una versión de 8 bits redujo el uso de GPU de dos A100 a una, con una caída del 1 % en exhaustividad y veracidad.

Resultados

En más del 92 % de los casos de producción, los autores indican una caída del 3 % en el tiempo de gestión en conjunto (su sección de resultados lo llama tiempo de trabajo de los agentes) y de hasta el 9 % en los casos más complejos. Los agentes dedicaron una proporción menor de su tiempo a escribir notas a mano: el 10 % antes y el 3 % después. En una encuesta a más de mil agentes, la mayoría quedó satisfecha con la función en los tres idiomas, con el francés en último lugar. Los autores indican también que las notas del modelo eran más completas que las de los propios agentes.

Qué replicar

Parta de un problema de los agentes e incorpore el circuito de corrección desde el primer día. Compare sedes piloto con un grupo de control, presente cada idioma por separado y deje claro qué cifras son opinión de encuesta y cuáles son tiempo medido.