Zomato przenosi chatbota obsługi klienta Zia na Llama 3 i podaje, że zadowolenie klientów wzrosło 2-krotnie

Problem

Zomato dostarcza w Indiach ponad milion zamówień z jedzeniem dziennie. Dawna obsługa klienta opierała się na menu stałych opcji i gotowych odpowiedzi. Słabo radziła sobie z nietypowymi sytuacjami, a proste pytania, takie jak „gdzie jest moje zamówienie”, często niepotrzebnie trafiały do konsultanta.

Co zbudowano

Zia to konwersacyjny bot obsługi klienta. Klienci opisują problem zwykłym językiem. Bot potrafi też działać: może dodać wskazówki dla dostawy albo anulować zamówienie. Zomato śledziło oceny rozmów (CSAT), odsetek rozmów rozwiązanych bez człowieka, koszt i czas odpowiedzi, z celem poniżej 10 sekund.

Pierwsza wersja działała na modelach zamkniętych, w tym GPT-4, co budziło obawy o koszt i szybkość. Po wydaniu przez Meta modelu Llama 3, modelu open-weight, którego pliki są publikowane, aby firmy mogły go uruchamiać lub dostosowywać, Zomato przeszło na Llama 3 na platformie Together AI.

Jak to zrobiono

Bot działa krok po kroku. Najpierw ustala, jakich danych potrzebuje, wywołuje tylko odpowiednie systemy wewnętrzne, zamienia dane na prosty język i łączy je z historią rozmowy oraz wytycznymi biznesowymi w ostatecznym prompcie. Równolegle osobny krok wykrywa możliwe działania i sprawdza je pod kątem statusu zamówienia i historii klienta. Klient widzi okno potwierdzenia, zanim cokolwiek zostanie wykonane.

Powyżej działa warstwa zasad. Model musi oznaczyć każdą eskalację do człowieka z góry określonym powodem, a ten powód jest sprawdzany względem danych zamówienia. Zomato dodało ją po tym, jak decyzje podejmowane wyłącznie przez model sprawiały, że odsetek rozmów obsłużonych bez człowieka wahał się między 80 % a 50 %.

Większe modele 70B obsługują rozpoznawanie intencji i zadania krytyczne. Mniejsze modele 8B piszą odpowiedzi w czacie. Współdzielona pojemność serverless pokrywa zwykły ruch, a pojemność dedykowana pokrywa szczyty w porach posiłków, od 10 do 50 razy.

Każda zmiana w systemie jest przeglądana przez ludzi. Część odpowiedzi na żywo jest próbkowana do oceny przez ludzi, a używany jest też sędzia AI, według czterech miar: spójności faktów, trafności, zgodności z wytycznymi i tego, czy rozwiązano problem klienta.

Wyniki

Together AI podaje 2-krotną poprawę wyników CSAT oraz spadek średniego czasu odpowiedzi o 75 % do poniżej 10 sekund. Dodaje też, że system obsłużył ponad 1 000 wiadomości na minutę w szczycie oraz ponad 80 000 klientów w jednym Dniu Matki, a także że więcej zgłoszeń jest teraz w pełni rozwiązywanych przez AI taniej. Nie podaje żadnej liczby dotyczącej oszczędności.

Co warto powtórzyć

Warto stawiać twarde reguły wokół modelu przy decyzjach o realnych skutkach, takich jak eskalacje i zwroty, oraz prosić klienta o potwierdzenie, zanim model zadziała. Warto też przetestować modele otwarte na własnych rozmowach i porównać je z obecnymi, zanim się zmieni rozwiązanie.