Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Airbnb
Airbnbs Live-Notizassistent für Support-Mitarbeitende senkt die Bearbeitungszeit um 3 %
Airbnb hat einen Assistenten auf Basis eines feinabgestimmten offenen Mixtral-Modells entwickelt, der Stichpunkt-Notizen schreibt, während Supportmitarbeitende einen Fall bearbeiten, statt einer langen Zusammenfassung am Ende. Die Autoren von Airbnb berichten, dass er im Produktivbetrieb die durchschnittliche Bearbeitungszeit um 3 % senkte, bei den komplexesten Fällen um bis zu 9 %.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
3 %
Rückgang der durchschnittlichen Fallbearbeitungszeit gegenüber der früheren Gesamtzusammenfassung am Fallende, bei Produktivfällen (Differenz-von-Differenzen-Vergleich von Pilotstandorten und übrigen Standorten; der Ergebnisteil des Papiers nennt dieselben 3 % Arbeitszeit der Mitarbeitenden)1
bis zu 9 %
Rückgang der Arbeitszeit der Mitarbeitenden bei den komplexesten Fällen (3 oder mehr beteiligte Mitarbeitende, Lösungszeit meist über 100 Minuten)1
95,2 %
(Englisch), 81,8 % (Französisch), 89,4 % (Spanisch)
Anteil der Mitarbeitenden, die in einer Umfrage nach dem Pilot unter über tausend Mitarbeitenden die Zusammenfassungsfunktion mit „Satisfied“ oder „Very Satisfied“ („zufrieden“ oder „sehr zufrieden“) bewerteten, nach Sprache (Englisch, Französisch, Spanisch)1
10 %
auf 3 %
Anteil der Arbeitszeit, den Mitarbeitende mit dem manuellen Schreiben von Notizen verbrachten, vor und nach der Einführung der Funktion (Offline-Analyse)1
Das Problem
Wenn ein Kundensupport-Fall zwischen Telefon, Chat und E-Mail und zwischen mehreren Mitarbeitenden wechselt, muss jede Person vor dem Handeln den gesamten Verlauf lesen und am Ende Notizen schreiben. Das Lesen und Schreiben kostet Zeit, und schlechte Notizen führen bei Übergaben zu Fehlern. Airbnbs früheres System schrieb eine einzige Zusammenfassung, wenn das Gespräch endete. Die Mitarbeitenden sagten, das komme zu spät, um ihnen bei offenem Fall zu helfen.
Was sie gebaut haben
Airbnbs Team baute einen Assistenten, der während des Gesprächs kurze Stichpunkt-Notizen schreibt. Er nutzt ein Mixtral-8x7B-Modell, ein Modell von Mistral AI mit offenen Gewichten (mit offenen Gewichten heißt: Die Modelldateien sind veröffentlicht, sodass ein Unternehmen sie selbst betreiben und anpassen kann), das auf Airbnbs eigenen annotierten Supportdaten feinabgestimmt wurde. Ein zweites, kleineres Modell entscheidet, ob eine neue Nachricht etwas Notierenswertes enthält, damit Begrüßungen und Füllwörter keine Stichpunkte erzeugen. Wenn Mitarbeitende einen Stichpunkt ändern, bleibt die Änderung in späteren Aktualisierungen erhalten und wird zudem zum Nachtrainieren des Modells genutzt.
Wie sie vorgegangen sind
Das Team beurteilte die Qualität offline an 1.200 gezogenen Produktivgesprächen, mit einem auf GPT-4o basierenden Bewerter, den es an einer von Menschen geprüften Stichprobe kontrollierte. Danach verglich es Pilotstandorte vor und nach der Einführung mit allen übrigen Standorten. GPT-4o erzielte im Offline-Test bei der Vollständigkeit einen etwas höheren Wert, doch laut den Autoren hielten Kosten, Geschwindigkeit und Datenschutz es aus dem Produktivbetrieb heraus. Sie stellten das Modell außerdem auf eine schnellere Serving-Umgebung um; eine 8-Bit-Version senkte die GPU-Nutzung von zwei A100 auf eine, bei einem Rückgang von 1 % bei Vollständigkeit und Wahrheitstreue.
Ergebnisse
Bei über 92 % der Produktivfälle berichten die Autoren insgesamt von 3 % weniger Bearbeitungszeit (ihr Ergebnisteil nennt es Arbeitszeit der Mitarbeitenden) und von bis zu 9 % bei den komplexesten Fällen. Die Mitarbeitenden verbrachten einen kleineren Teil ihrer Zeit mit dem händischen Schreiben von Notizen, vorher 10 %, nachher 3 %. In einer Umfrage unter über tausend Mitarbeitenden waren die meisten in allen drei Sprachen mit der Funktion zufrieden, am niedrigsten im Französischen. Die Autoren berichten außerdem, dass die Notizen des Modells vollständiger waren als die eigenen Notizen der Mitarbeitenden.
Was Sie übernehmen können
Beginnen Sie bei einem Problem der Mitarbeitenden und bauen Sie die Korrekturschleife von Anfang an ein. Vergleichen Sie Pilotstandorte mit einer Kontrollgruppe, weisen Sie jede Sprache getrennt aus und machen Sie klar, welche Zahlen Umfragemeinungen und welche gemessene Zeit sind.
Erkenntnisse für Ihr Projekt
Passen Sie das Werkzeug an die Arbeitsweise der Mitarbeitenden an. Die Mitarbeitenden sagten Airbnb, sie bräuchten Notizen während des Gesprächs, nicht erst am Ende; deshalb änderte das Team den Zeitpunkt, zu dem die Zusammenfassung entsteht.
Lassen Sie Nutzer das Modell korrigieren und führen Sie die Korrekturen zurück. Änderungen der Mitarbeitenden an den Notizen wurden protokolliert und zum Nachtrainieren verwendet; das nachtrainierte Modell schnitt in den Tests der Autoren besser ab.
Wägen Sie ein kleineres, selbst betriebenes Modell gegen ein größeres Anbietermodell bei Kosten, Geschwindigkeit und Datenschutz ab, nicht nur bei der Qualität. Airbnb sagt, diese Grenzen hätten GPT-4o aus dem Produktivbetrieb herausgehalten.
Messen Sie an echten Fällen mit einer Kontrollgruppe. Airbnb konnte keinen sauberen A/B-Test durchführen und verglich deshalb Pilotstandorte vor und nach der Einführung mit anderen Standorten.
Einschränkungen
- Alle Zahlen stammen aus einem Forschungspapier von Airbnb-Beschäftigten, das auf der EMNLP 2025 (Industry Track) vorgestellt wurde. Keine externe Stelle hat sie geprüft.
- Das Papier nennt kein Startdatum der Funktion. Als Einführungsjahr ist 2025 angegeben, das Jahr des Papiers; die Einführung kann früher gewesen sein, da das Papier das Zeitfenster von drei Monaten davor bis einem Monat danach nicht datiert. Die ACL-Anthology-Seite nennt den Monat der Veröffentlichung (November 2025), aber keinen Tag; deshalb wird für das Quellendatum kein Tag angegeben.
- Die Zahlen von 3 % und bis zu 9 % stammen aus einer Differenz-von-Differenzen-Analyse, nicht aus einem randomisierten Test, weil ein direkter A/B-Test nicht machbar war. Das Papier nennt die 3 % an einer Stelle „agent working time“ („Arbeitszeit der Mitarbeitenden“) und an anderer Stelle „handling time“ („Bearbeitungszeit“).
- Die Zufriedenheitswerte stammen aus einer Umfrage nach dem Pilot dazu, ob die Funktion den Mitarbeitenden hilft. Es handelt sich nicht um Kundenzufriedenheit. Die Einleitung nennt Werte über 80 %.
- Das Papier sagt außerdem, die Ergebnisse implizierten jährliche Einsparungen in Millionenhöhe in Dollar. Das ist eine Schätzung der Autoren, kein gemessenes Ergebnis, und wird hier nicht verwendet.
- Der Kostenvergleich ist die eigene Berechnung der Autoren für eine Anfrage pro Sekunde, 4k Tokens Eingabe und 512 Tokens Ausgabe. Es sind nicht die tatsächlichen Ausgaben von Airbnb.
- Dies ist ein anderer Airbnb-Einsatz als der kundenseitige KI-Supportagent, der in einem eigenen Fall behandelt wird.
Quellen
- Incremental Summarization for Customer Support via Progressive Note-Taking and Agent Feedback
ACL Anthology (EMNLP 2025 Industry Track) · 2025-11 · Forschungsarbeit · aclanthology.org
- Incremental Summarization for Customer Support via Progressive Note-Taking and Agent Feedback
arXiv (authors at Airbnb Inc.) · 2025-10-08 · Forschungsarbeit · arxiv.org
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.