Trustpilot trainiert kleine Gemma-Modelle nach, um täglich Millionen Bewertungen zu kennzeichnen

Das Problem

Das Geschäft von Trustpilot beruht darauf, Kundenbewertungen in nutzbare Daten zu verwandeln: welches Thema eine Bewertung behandelt, welche Unternehmen oder Produkte sie nennt, wie positiv sie ist und was der Verfasser möchte. Das Unternehmen erhält Millionen Bewertungen und braucht die Ergebnisse schnell. Jede einzelne an ein führendes kommerzielles Modell zu schicken, ist bei diesem Volumen teuer, und ein geschlossenes Modell bindet Trustpilot laut den Autoren zudem an Preise und Update-Rhythmus eines Anbieters.

Was sie gebaut haben

Trustpilot baute eine Reihe kleiner, spezialisierter Modelle auf Basis von Gemma 2 9B, einem offenen Modell von Google. Offen (Open-Weight) heißt, dass die Dateien des Modells veröffentlicht sind, sodass ein Unternehmen es anpassen und in seinem eigenen Cloud-Konto betreiben kann. Fine-Tuning bedeutet, ein Modell mit den eigenen gekennzeichneten Beispielen eines Unternehmens weiterzutrainieren. Die Modelle übernehmen die Themenklassifizierung, die Erkennung benannter Entitäten (das Finden von Firmen- und Produktnamen in Texten) und die Extraktion der Stimmung.

Wie sie vorgegangen sind

Zunächst ließ das Team größere Gemini-Modelle von Google eine repräsentative Stichprobe der Trustpilot-Bewertungen kennzeichnen. Es behielt die Kennzeichnungen, über die sich die Lehrermodelle einig waren, und nutzte sie als Trainingsdaten. Mit diesen Lehrer-Kennzeichnungen wurden die kleinen Modelle trainiert.

Im Betrieb schickt eine Streaming-Pipeline auf Google Cloud jede Bewertung an zwei Dienste. Einer übernimmt Aufbereitung und Prompts. Der andere stellt Gemma über vLLM bereit, ein quelloffenes Serving-Werkzeug, auf A100-GPUs. Die Autoren optimierten die vLLM-Einstellungen, entwickelten eine wiederverwendbare Lasttest-Methode und steuerten die automatische Skalierung nach der Zahl der Anfragen. Das gemeinsame Projekt mit Google lief Ende 2025.

Ergebnisse

Die Autoren berichten, dass die feinabgestimmten Modelle die bisherige Lösung von Trustpilot deutlich übertrafen und bis auf einige Prozentpunkte an den Konsens der Lehrermodelle herankamen. Nach ihren Angaben verarbeitet die Pipeline Millionen Bewertungen pro Tag in nahezu Echtzeit, mit einer Leistung wie bei einem Gemini-Modell zu einem Bruchteil der Kosten. Zahlen zur Kostenersparnis nennt der Beitrag nicht.

Was schiefgelaufen ist

Private Netzwerke zwischen den beiden Endpunkten wurden nicht nativ unterstützt, daher war das vollständig isolierte Design nicht möglich. Bereitstellungen waren langsam und intransparent, und A100-Chips in der EU-Region waren schwer zu bekommen.