Zespół Tencent ogranicza o 92,7 % zmyślone linki w odpowiedziach dla reklamodawców dzięki dostrojonemu modelowi Qwen3-32B o otwartych wagach

Problem

Autorzy z Tencent opisują wielkoskalową platformę reklamową z wieloma zasadami, produktami i procedurami konta, które często się zmieniają. Reklamodawcy zadają o nie pytania do pomocy technicznej. Błędna odpowiedź jest kosztowna, a artykuł wskazuje zmyślone linki internetowe jako osobne ryzyko, bo mogą prowadzić do strat finansowych, problemów ze zgodnością i narażenia prawnego. Standardowe asystenty oparte na wyszukiwaniu, które sprawdzają dokumenty, a potem piszą odpowiedź, nadal dawały odpowiedzi niepełne lub zmyślone.

Co zbudowano

Zespół Tencent połączył dwa pomysły. Po pierwsze, etap wyszukiwania, który podąża za relacjami między produktami, zasadami i procedurami (nazywany GraphRAG, czyli wyszukiwanie po mapie powiązanych faktów), obok zwykłego wyszukiwania po słowach kluczowych i wektorach. Po drugie, model Qwen3-32B, który Tencent dostroił uczeniem ze wzmocnieniem: model jest nagradzany za trzymanie się znalezionych dowodów, stosowanie stylu firmy, bezpieczeństwo i używanie wyłącznie prawidłowych adresów URL. Qwen3-32B to model o otwartych wagach, czyli jego pliki są publiczne i można je uruchamiać na własnych serwerach firmy. Usługa jest dostępna z paska bocznego oficjalnej strony, z miniaplikacji i z samodzielnej witryny.

Jak to zrobiono

Tencent celowo utrzymał graf wiedzy w niewielkich rozmiarach. Śledził, które treści najczęściej pobierały prawdziwe zapytania, i zbudował graf z tego najczęściej cytowanego podzbioru, by wyszukiwanie pozostało szybkie. Główny zrzut testowy z artykułu miał 4 686 encji i 10 712 relacji. Model dostrojono najpierw na 1 000 dialogów opisanych przez ludzi, a potem trenowano uczeniem ze wzmocnieniem na 1 000 promptów. Mniejszy model Qwen3-4B zmienia kolejność wyników wyszukiwania. Generator jest obsługiwany przez vLLM na dwóch procesorach graficznych NVIDIA H20, a indeks wiedzy działa na Elasticsearch. Etap kontroli końcowej dodaje 230 ms na zabezpieczenia.

Wyniki

Na wewnętrznym zbiorze testowym 3 000 pytań dostrojony model miał o 72 % niższy odsetek halucynacji niż ten sam model dostrojony bez uczenia ze wzmocnieniem oraz poprawę trafności, kompletności i bezpieczeństwa ocenianych przez ekspertów. W dwutygodniowym teście na żywo przy 50 % ruchu, względem standardowego układu wyszukiwania z DeepSeek-V3, odsetek polubień wzrósł o 28,6 %, a nieprawidłowe adresy URL spadły o 92,7 %. Dwie tabele wyników w artykule są sprzeczne w sprawie odsetka łapek w dół, więc nie podajemy go tutaj (zob. zastrzeżenia). Ceną były wolniejsze odpowiedzi: średni czas do pierwszego tokenu wzrósł z 2,5 s do 3,1 s. Autorzy twierdzą, że system obsłużył miliony interakcji w ciągu ponad pół roku.

Co warto powtórzyć

Określcie jeden błąd, na który nie możecie sobie pozwolić, na przykład zmyślony link, i nadajcie mu własny wskaźnik oraz własną nagrodę w trenowaniu. Przeprowadźcie test podziałowy na żywo względem wyraźnego punktu odniesienia i podajcie spowolnienie obok zysków.