Airbnbs live notitieassistent voor supportmedewerkers verkort de afhandeltijd met 3%

Het probleem

Wanneer een klantenservicezaak wisselt tussen telefoon, chat en e-mail en tussen meerdere medewerkers, moet elke medewerker de volledige geschiedenis lezen voordat hij of zij handelt en aan het eind notities schrijven. Dat lezen en schrijven kost tijd, en slechte notities leiden tot fouten bij overdrachten. Airbnbs eerdere systeem schreef één samenvatting als het gesprek was afgelopen. Medewerkers zeiden dat dat te laat kwam om hen te helpen zolang de zaak open was.

Wat ze bouwden

Airbnbs team bouwde een assistent die korte opsommingsnotities schrijft terwijl het gesprek loopt. Hij gebruikt een Mixtral-8x7B-model, een model met open gewichten van Mistral AI (open gewichten betekent dat de modelbestanden zijn gepubliceerd, zodat een bedrijf ze zelf kan draaien en aanpassen), afgestemd op Airbnbs eigen geannoteerde supportdata. Een tweede, kleiner model bepaalt of een nieuw bericht iets bevat wat het noteren waard is, zodat begroetingen en opvulling geen opsommingstekens opleveren. Wanneer medewerkers een punt aanpassen, blijft die aanpassing behouden in latere updates en wordt ze ook gebruikt om het model opnieuw te trainen.

Hoe ze het aanpakten

Het team beoordeelde de kwaliteit offline op 1.200 steekproefsgewijs gekozen productiegesprekken, met een beoordelaar op basis van GPT-4o die het controleerde aan de hand van een door mensen gecontroleerde steekproef. Daarna vergeleek het pilotlocaties met alle andere locaties, voor en na de uitrol. GPT-4o scoorde in de offlinetest iets hoger op volledigheid, maar volgens de auteurs hielden kosten, snelheid en gegevensprivacy het uit productie. Ze verplaatsten het model ook naar een snellere serving-opzet; een 8-bitversie verlaagde het GPU-gebruik van twee A100's naar één, met een daling van 1% in volledigheid en waarheidsgetrouwheid.

Resultaten

Bij meer dan 92% van de productiezaken melden de auteurs een daling van 3% in afhandeltijd over het geheel (hun resultatenhoofdstuk noemt het werktijd van medewerkers) en tot 9% bij de meest complexe zaken. Medewerkers besteedden een kleiner deel van hun tijd aan het met de hand schrijven van notities: 10% ervoor en 3% erna. In een enquête onder meer dan duizend medewerkers was het merendeel in alle drie de talen tevreden over de functie, waarbij Frans het laagst scoorde. De auteurs melden ook dat de notities van het model completer waren dan de eigen notities van de medewerkers.

Wat u kunt overnemen

Begin bij een knelpunt van medewerkers en bouw de correctielus vanaf dag één in. Vergelijk pilotlocaties met een controlegroep, rapporteer elke taal apart en maak duidelijk welke cijfers enquêtemeningen zijn en welke gemeten tijd.