Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Fliggy
Agent Fliggy oparty na Qwen3-32B negocjuje ceny hoteli i podnosi odsetek odpowiedzi o 12,14 punktu w teście na żywo
Fliggy, internetowe biuro podróży Alibaba, używa dostrojonego modelu Qwen3-32B jako agenta rozwoju biznesu, który dzwoni do hoteli, by negocjować zmiany cen. W teście A/B na produkcji, obejmującym 9 653 prawdziwe rozmowy, przewyższył wcześniejszy system dialogowy oparty na regułach pod względem odsetka odpowiedzi i powodzenia zadania.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
+12,14 punktu procentowego (p < 0,001)
Odsetek rozmów, w których hotel odpowiedział po pierwszej wypowiedzi agenta, test A/B na produkcji na 9 653 prawdziwych rozmowach w porównaniu z wcześniejszym systemem dialogowym opartym na intencjach (46,72 % do 58,86 %)1
+5,94 punktu procentowego (p < 0,001)
Odsetek zgłoszeń o zmianę ceny, które udało się wynegocjować do porozumienia, w tym samym teście A/B na produkcji (19,32 % do 25,26 %)1
4,63
(+0,33 względem GRPO)
Średnia ocena dialogu (od 1 do 5) przez trzech ekspertów na 30 rozmowach online, w porównaniu z tym samym modelem trenowanym metodą GRPO, czyli alternatywną1
93,33 %
Odsetek 45 wybranych trudnych przypadków, które naprawiono, według oceny trzech ekspertów1
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Internetowe biura podróży, takie jak Fliggy, codziennie negocjują z hotelami ceny pokoi. Pracownik, nazywany agentem rozwoju biznesu, dzwoni do menedżera hotelu i prosi o zmianę ceny, według stałego, wieloetapowego scenariusza. Praca wymaga przekonywania w długiej rozmowie, ale też ścisłych granic: bez nadmiernych obietnic, bez zmyślonych faktów i ze spójnymi liczbami w kilku cenach.
Co zbudowano
Fliggy przekształciło tę pracę w agenta LLM. Punktem wyjścia jest model Qwen3-32B-Instruct o otwartych wagach (otwarte wagi oznaczają, że pliki modelu są publiczne). Fliggy wytrenowało go metodą nazwaną REPO, która nagradza model na podstawie trzech sygnałów: modelu wytrenowanego na preferencjach ludzi, drugiego modelu językowego pełniącego rolę sędziego dla subtelniejszych cech, takich jak ton i zgodność ze scenariuszem, oraz prostych kontroli regułowych dla liczb, formatu i zabezpieczeń.
Jak to zrobiono
Zespół zbudował zbiór preferencji liczący 6 632 próbki, w tym 252 przypadki zebrane z produkcji, i porównał REPO z dostrajaniem oraz innymi metodami uczenia ze wzmocnieniem. Artykuł mówi, że poprzedni model bazowy, Qwen2.5-32B, popełniał błędy we wdrożeniu, a eksperci biznesowi zebrali 45 takich rozmów jako test trudnych przypadków. Metodę zaprojektowano tak, by po pojawieniu się nowego błędu po uruchomieniu można było szybko dodać nową regułę lub instrukcję dla sędziego.
Wyniki
W ocenie ekspertów REPO uzyskało średnią ocenę dialogu 4,63 na 5 na 30 rozmowach online, o 0,33 wyższą niż następna najlepsza metoda, i naprawiło 93,33 % z 45 trudnych przypadków. W teście A/B na produkcji na 9 653 prawdziwych rozmowach, względem wcześniejszego systemu dialogowego opartego na intencjach, odsetek odpowiedzi hoteli wzrósł z 46,72 % do 58,86 %, a powodzenie zadania z 19,32 % do 25,26 %. Oba wzrosty były istotne statystycznie (p < 0,001).
Co warto powtórzyć
Testujcie agenta względem działającego punktu odniesienia, śledźcie jeden wskaźnik odpowiedzi i jeden wskaźnik wyniku oraz prowadźcie rosnący zbiór prawdziwych błędów, by sprawdzać każdą nową wersję.
Wnioski dla Twojego projektu
Porównujcie z systemem, który dziś działa. Fliggy testowało względem swojego produkcyjnego systemu dialogowego opartego na intencjach, ponieważ był to jedyny inny system dopuszczony do ruchu na żywo.
Spiszcie zasady biznesowe, których agent nigdy nie może złamać, takie jak brak nadmiernych obietnic i wymyślonych faktów, i sprawdzajcie je kontrolami, a nie tylko przeglądem ludzi.
Zbierajcie prawdziwe błędy poprzedniego modelu i zamieniajcie je w zbiór testowy. Fliggy zbudowało zbiór 45 trudnych rozmów z błędów zaobserwowanych we wdrożeniu.
Wybierzcie dwa lub trzy proste wskaźniki z produkcji. Tutaj: czy hotel odpowiedział i czy zgłoszenie zakończyło się porozumieniem.
Zastrzeżenia
- Wszystkie liczby podają autorzy artykułu, którzy pracują w Fliggy (Alibaba). Artykuł przeszedł recenzję w ACL 2026 Industry Track, ale żadna niezależna strona nie zweryfikowała wyników.
- Artykuł nazywa osoby po drugiej stronie rozmów „klientami”; są to menedżerowie hoteli, więc jest to negocjacja po stronie sprzedaży z partnerami biznesowymi, a nie obsługa konsumentów.
- Artykuł nie podaje daty wdrożenia, czasu trwania testu ani udziału ruchu. Data 2026-07 to miesiąc publikacji materiałów konferencyjnych.
- Omówiono tylko jedno zadanie, zgłoszenia „ponaglające” w sprawie zmiany ceny. Artykuł mówi, że inne trenowane warianty nie spełniły wymagań stabilności i zgodności potrzebnych do testu na żywo, więc porównanie na żywo dotyczy tylko starszego systemu.
- Autorzy twierdzą, że wskaźnik powodzenia zadania około 25 % jest porównywalny z wynikami ludzkiego personelu rozwoju biznesu. To ich własne stwierdzenie i nie pokazano ludzkiego punktu odniesienia.
- Ocena ekspertów opierała się na małej próbie: trzech ekspertów, 30 rozmów online i 45 trudnych przypadków. Nie podano kosztów, wielkości zespołu ani harmonogramu.
Źródła
- Teaching LLM to be Persuasive: Reward-Enhanced Policy Optimization for Alignment from Heterogeneous Rewards
ACL 2026 Industry Track (Fliggy/Alibaba authors) · 2026-07 · Publikacja naukowa · aclanthology.org
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.