Asystent Airbnb robiący notatki na żywo dla konsultantów obsługi skraca czas obsługi o 3 %

Problem

Gdy sprawa w obsłudze klienta przechodzi między telefonem, czatem i e-mailem oraz między kilkoma konsultantami, każdy z nich musi przeczytać całą historię, zanim zacznie działać, a na końcu napisać notatki. Czytanie i pisanie zajmuje czas, a słabe notatki prowadzą do błędów przy przekazywaniu spraw. Wcześniejszy system Airbnb pisał jedno podsumowanie po zakończeniu rozmowy. Konsultanci mówili, że przychodzi za późno, by pomóc im, gdy sprawa jest otwarta.

Co zbudowano

Zespół Airbnb zbudował asystenta, który pisze krótkie notatki w punktach w trakcie rozmowy. Korzysta z modelu Mixtral-8x7B, modelu Mistral AI o otwartych wagach (o otwartych wagach oznacza, że pliki modelu są opublikowane, więc firma może je uruchamiać i dostosowywać), dostrojonego na własnych, opisanych danych obsługi Airbnb. Drugi, mniejszy model ocenia, czy nowa wiadomość wnosi coś wartego zanotowania, dzięki czemu powitania i wypełniacze nie tworzą punktów. Gdy konsultanci edytują punkt, zmiana zostaje zachowana w kolejnych aktualizacjach i służy też do ponownego trenowania modelu.

Jak to zrobiono

Zespół oceniał jakość offline na 1 200 wylosowanych rozmowach produkcyjnych, używając sędziego opartego na GPT-4o, którego sprawdził na próbce zweryfikowanej przez ludzi. Następnie porównał lokalizacje pilotażowe ze wszystkimi pozostałymi przed wdrożeniem i po nim. GPT-4o uzyskał w teście offline nieco wyższy wynik pod względem kompletności, ale według autorów koszt, szybkość i prywatność danych zatrzymały go poza produkcją. Przeniesiono też model na szybszą infrastrukturę, a wersja 8-bitowa zmniejszyła użycie GPU z dwóch kart A100 do jednej, przy spadku kompletności i zgodności z prawdą o 1 %.

Wyniki

W ponad 92 % spraw produkcyjnych autorzy podają spadek czasu obsługi o 3 % ogółem (ich sekcja wyników nazywa to czasem pracy konsultantów) i do 9 % w najbardziej złożonych sprawach. Konsultanci spędzali mniejszą część czasu na ręcznym pisaniu notatek: 10 % przed wdrożeniem i 3 % po nim. W ankiecie wśród ponad tysiąca konsultantów większość była zadowolona z funkcji we wszystkich trzech językach, a najniżej wypadł francuski. Autorzy podają także, że notatki modelu były pełniejsze niż notatki samych konsultantów.

Co warto powtórzyć

Zacznijcie od problemu konsultantów i od pierwszego dnia wbudujcie pętlę poprawek. Porównujcie lokalizacje pilotażowe z grupą kontrolną, raportujcie każdy język osobno i jasno rozróżniajcie, które liczby to opinie z ankiety, a które zmierzony czas.