Trustpilot dostraja małe modele Gemma, by etykietować miliony opinii dziennie

Problem

Biznes Trustpilot opiera się na zamianie opinii klientów w użyteczne dane: jakiego tematu dotyczy opinia, jakie firmy lub produkty wymienia, jak jest pozytywna i czego chce jej autor. Firma otrzymuje miliony opinii i potrzebuje wyników szybko. Wysyłanie każdej z nich do czołowego modelu komercyjnego jest przy takim wolumenie kosztowne, a zdaniem autorów model zamknięty uzależnia też Trustpilot od cen i harmonogramu aktualizacji dostawcy.

Co zbudowano

Trustpilot zbudował zestaw małych, wyspecjalizowanych modeli na bazie Gemma 2 9B, otwartego modelu Google. Otwarty (open-weight) oznacza, że pliki modelu są opublikowane, więc firma może go dostosować i uruchamiać na własnym koncie w chmurze. Fine-tuning to dalsze trenowanie modelu na własnych, oznaczonych przykładach firmy. Modele zajmują się klasyfikacją tematów, rozpoznawaniem nazwanych encji (wyszukiwaniem w tekście nazw firm i produktów) oraz wydobywaniem sentymentu.

Jak to zrobiono

Zespół najpierw kazał większym modelom Gemini od Google oznaczyć reprezentatywną próbkę opinii Trustpilot. Zachował etykiety, co do których modele-nauczyciele się zgadzały, i użył ich jako danych treningowych. Na tych etykietach „nauczycieli” wytrenowano małe modele.

W produkcji potok strumieniowy w Google Cloud wysyła każdą opinię do dwóch usług. Jedna zajmuje się przygotowaniem i promptami. Druga udostępnia Gemmę przez vLLM, otwartoźródłowe narzędzie do obsługi modeli, na procesorach GPU A100. Autorzy dostroili ustawienia vLLM, stworzyli wielokrotnego użytku metodę testów obciążeniowych i ustawili automatyczne skalowanie według liczby żądań. Wspólny projekt z Google trwał pod koniec 2025 roku.

Wyniki

Autorzy podają, że dostrojone modele wyraźnie przewyższyły poprzednie rozwiązanie Trustpilot i zbliżyły się do konsensusu modeli-nauczycieli na odległość kilku punktów procentowych. Twierdzą, że potok przetwarza miliony opinii dziennie niemal w czasie rzeczywistym, z wydajnością zbliżoną do modelu Gemini przy ułamku kosztów. Wpis nie podaje liczb dotyczących oszczędności.

Co poszło nie tak

Prywatna sieć między dwoma punktami końcowymi nie była natywnie obsługiwana, więc w pełni odizolowany projekt nie był możliwy. Wdrożenia były wolne i nieprzejrzyste, a układy A100 w regionie UE trudno było zdobyć.