L’assistant de prise de notes en direct d’Airbnb pour ses agents du support réduit le temps de traitement de 3 %

Le problème

Lorsqu’un dossier de support client passe du téléphone au chat puis à l’e-mail, et d’un agent à l’autre, chaque agent doit lire tout l’historique avant d’agir, puis rédiger des notes à la fin. Cette lecture et cette rédaction prennent du temps, et de mauvaises notes provoquent des erreurs lors des transmissions. L’ancien système d’Airbnb rédigeait un seul résumé à la fin de la conversation. Les agents jugeaient qu’il arrivait trop tard pour les aider tant que le dossier était ouvert.

Ce qu’ils ont construit

L’équipe d’Airbnb a conçu un assistant qui rédige de courtes notes sous forme de puces au fil de la conversation. Il repose sur un modèle Mixtral-8x7B, un modèle à poids ouverts de Mistral AI (à poids ouverts signifie que les fichiers du modèle sont publiés, de sorte qu’une entreprise peut les exécuter et les adapter), affiné sur les données de support annotées d’Airbnb. Un second modèle, plus petit, décide si un nouveau message apporte quelque chose qui mérite d’être noté, de sorte que les salutations et les formules de politesse ne créent pas de puces. Lorsque les agents modifient une puce, la modification est conservée dans les mises à jour suivantes et sert aussi à réentraîner le modèle.

Comment ils s’y sont pris

L’équipe a évalué la qualité hors ligne sur 1 200 conversations de production échantillonnées, avec un juge fondé sur GPT-4o qu’elle a vérifié sur un échantillon audité par des humains. Elle a ensuite comparé des sites pilotes à tous les autres sites avant et après le déploiement. GPT-4o a obtenu un score légèrement supérieur en exhaustivité lors du test hors ligne, mais les auteurs affirment que le coût, la vitesse et la confidentialité des données l’ont écarté de la production. Ils ont aussi déplacé le modèle vers une infrastructure de service plus rapide, et une version en 8 bits a fait passer l’usage de GPU de deux A100 à un seul, avec une baisse de 1 % de l’exhaustivité et de la véracité.

Résultats

Sur plus de 92 % des dossiers en production, les auteurs indiquent une baisse de 3 % du temps de traitement dans l’ensemble (leur section des résultats parle de temps de travail des agents) et jusqu’à 9 % pour les dossiers les plus complexes. Les agents ont consacré une part plus faible de leur temps à rédiger des notes à la main : 10 % avant, 3 % après. Dans une enquête auprès de plus de mille agents, la plupart se disaient satisfaits de la fonction dans les trois langues, le français étant le plus bas. Les auteurs indiquent également que les notes du modèle étaient plus complètes que celles des agents.

Ce qu’il faut retenir

Partez d’un point de friction des agents et intégrez la boucle de correction dès le premier jour. Comparez des sites pilotes à un groupe témoin, présentez chaque langue séparément et distinguez clairement les chiffres d’opinion issus de l’enquête de ceux du temps mesuré.