T-Tech automatyzuje 45 % sesji obsługi klienta dzięki dostrojonemu modelowi Qwen

Problem

Obsługa klienta na dużą skalę opiera się na oprogramowaniu do przepływów pracy w przedsiębiorstwie, w którym operatorzy przeklikują się przez ekrany, aby rozwiązać każdą sprawę. Automatyzacja ręcznie pisanymi skryptami jest powolna w budowie i psuje się, gdy zmieniają się ekrany lub procesy. Ogólne agenty AI wykonują wiele wywołań modelu na sprawę, więc drobne błędy się kumulują, a koszt jest wysoki.

Co zbudowano

T-Tech zbudował agenta AI działającego w ramach jego platformy zarządzania procesami biznesowymi (BPM), czyli oprogramowania, którego operatorzy używają do obsługi czatów. Agent odczytuje ustrukturyzowany widok ekranu i proponuje następne działanie, takie jak kliknięcie kontrolki, przekazanie czatu lub wysłanie wiadomości. Drugi model, zwany krytykiem, ocenia, jak bardzo agent jest pewny. Samodzielnie wykonywane są tylko kroki o wysokiej pewności. W razie niepewności agent oddaje sprawę operatorowi i kontynuuje od zaktualizowanego ekranu.

Model to Qwen2.5-Instruct-7B firmy Alibaba o otwartych wagach, dostrojony na własnych danych T-Tech. Autorzy wybrali rozmiar 7B, ponieważ dawał najlepszą równowagę między szybkością a przepustowością przy ich budżecie na serwowanie.

Jak to zrobiono

Wdrożenie ma trzy etapy. Najpierw platforma tylko rejestruje, co robią operatorzy. Potem model działa jako kopilot: operatorzy akceptują jego sugestię lub ją poprawiają, a ta informacja zwrotna trenuje model pewności. Wreszcie system wykonuje kroki o wysokiej pewności w tle. Autorzy podają, że nowy proces osiąga selektywną automatyzację w około dwa tygodnie, bez ręcznie pisanych reguł.

Ruch obsługi jest dzielony na typy spraw, każdy z własnymi modelami, dzięki czemu dryf w jednym obszarze można odizolować. Jeśli sygnały jakości dla danego segmentu się pogarszają, automatyzacja tam się wyłącza, a system wraca do trybu kopilota, by zebrać nowe informacje zwrotne. Dane treningowe są anonimizowane przed użyciem.

Wyniki

Autorzy podają, że system w produkcji w pełni zautomatyzował 45 % sesji. W teście A/B z 15,5 tys. klientów w grupie przez 7 dni średni aktywny czas operatora na klienta spadł z 227,37 sekundy do 139,15 sekundy (-39 %) w porównaniu z obsługą wyłącznie ludzką. W porównaniu z istniejącym chatbotem ze skryptowanymi krokami (77 tys. klientów w grupie, 32 dni) spadł z 124,67 do 104,72 sekundy (-16 %). Ślepa ocena operatorów nie wykazała w żadnym z testów istotnej statystycznie różnicy w jakości rozwiązań.

Operatorzy akceptowali działania rutynowe, takie jak przekazanie czatu, w 91,7 % przypadków, ale odpowiedzi w wolnym tekście tylko w 50,81 % przypadków. Autorzy wskazują komunikację w języku naturalnym jako główne ograniczenie dalszej automatyzacji.

Co poszło nie tak

Operatorzy odrzucali część sugestii. Autorzy przeanalizowali te odrzucenia i stwierdzili, że 37,2 % to działania do przyjęcia, które operator po prostu wolał wykonać inaczej, na przykład łagodząc sformułowanie wiadomości. Przypadki spoza danych treningowych, takie jak nowe elementy ekranu lub nietypowe prośby, to znany słaby punkt, dlatego w razie niepewności system przekazuje sprawę ludziom.

Co warto powtórzyć

Warto najpierw uruchomić system jako kopilota i wykorzystać kliknięcia akceptacji i poprawek operatorów jako dane treningowe. Warto automatyzować powtarzalne kroki o niskim ryzyku, zanim obejmie się cokolwiek widocznego dla klienta. Warto śledzić czas operatora na klienta w kontrolowanym teście i dodać przełącznik, który zwraca dany typ spraw do obsługi ludzkiej, gdy jakość spada.