Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Trustpilot
Trustpilot stemt kleine Gemma-modellen af om dagelijks miljoenen reviews te labelen
Trustpilot heeft kleine Gemma-modellen, de open-weight modelfamilie van Google, verder getraind (fine-tuning) om dagelijks miljoenen klantreviews te labelen op onderwerp, benoemde entiteiten en sentiment. Google Cloud en Trustpilot melden een nauwkeurigheid die een paar procentpunten lager ligt dan die van de grotere modellen die de trainingsdata labelden, tegen een fractie van de kosten.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
Miljoenen per dag, vrijwel in realtime
Verwerkte reviews, zoals beschreven door de auteurs1
Een paar procentpunten lager
Nauwkeurigheid van de afgestemde modellen ten opzichte van de consensus van de grotere leraarmodellen1
Aanzienlijk beter (geen cijfer genoemd)
Nauwkeurigheid ten opzichte van de vorige oplossing1
Wat het kostte
Het probleem
Het bedrijfsmodel van Trustpilot draait om het omzetten van klantreviews in bruikbare data: welk onderwerp een review behandelt, welke bedrijven of producten erin voorkomen, hoe positief de review is en wat de schrijver wil. Het ontvangt miljoenen reviews en heeft de resultaten snel nodig. Elke review naar een toonaangevend commercieel model sturen is bij dit volume duur, en volgens de auteurs maakt een gesloten model Trustpilot bovendien afhankelijk van de prijzen en het updateschema van een leverancier.
Wat ze bouwden
Trustpilot bouwde een reeks kleine, gespecialiseerde modellen op basis van Gemma 2 9B, een open-weight model van Google. Open-weight betekent dat de bestanden van het model openbaar zijn, zodat een bedrijf het kan aanpassen en op het eigen cloudaccount kan draaien. Fine-tuning betekent een model verder trainen op de eigen gelabelde voorbeelden van een bedrijf. De modellen doen onderwerpclassificatie, herkenning van benoemde entiteiten (namen van bedrijven en producten in tekst vinden) en sentimentextractie.
Hoe ze het aanpakten
Het team liet eerst grotere Gemini-modellen van Google een representatieve steekproef van Trustpilot-reviews labelen. Het hield de labels aan waarover de leraarmodellen het eens waren en gebruikte die als trainingsdata. Met deze labels van de leraren werden de kleine modellen getraind.
In productie stuurt een streamingpijplijn op Google Cloud elke review naar twee diensten. De ene doet voorbereiding en prompts. De andere draait Gemma via vLLM, een open-source serveertool, op A100-GPU’s. De auteurs stemden de vLLM-instellingen af, bouwden een herbruikbare methode voor belastingtests en stelden automatische schaling in op basis van het aantal verzoeken. Het gezamenlijke project met Google liep eind 2025.
Resultaten
De auteurs melden dat de afgestemde modellen duidelijk beter presteerden dan de vorige oplossing van Trustpilot en binnen een paar procentpunten van de consensus van de leraarmodellen kwamen. Volgens hen verwerkt de pijplijn miljoenen reviews per dag vrijwel in realtime, met prestaties vergelijkbaar met een Gemini-model tegen een fractie van de kosten. De post noemt geen cijfers voor de kostenbesparing.
Wat er misging
Een privénetwerk tussen de twee endpoints werd niet standaard ondersteund, waardoor het volledig geïsoleerde ontwerp niet mogelijk was. Uitrol was traag en ondoorzichtig, en A100-chips in de EU-regio waren moeilijk te krijgen.
Lessen voor uw project
Gebruik een groot model als leraar, niet als productiemotor. Trustpilot liet grotere modellen een steekproef van reviews labelen en trainde daarop kleine modellen.
Kies voor vaste infrastructuurkosten in plaats van prijzen per token als het volume hoog en stabiel is. Trustpilot noemt die voorspelbaarheid als reden voor open-weight modellen.
Houd het taalmodel en de bedrijfslogica in aparte diensten, zodat elk afzonderlijk kan opschalen.
Controleer de beschikbaarheid van GPU’s vroeg. A100-chips in de EU-regio bemachtigen was moeilijk, dus reserveringen moesten worden gedeeld tussen ontwikkeling, training en productie.
Kanttekeningen
- De post is samen geschreven door medewerkers van Trustpilot en Google en geeft geen absolute cijfers voor kosten, vertraging of nauwkeurigheid, alleen relatieve uitspraken.
- De post zegt niet wanneer de pijplijn live ging. De getoonde uitrolmaand is de maand van publicatie van de post; het gezamenlijke project liep eind 2025.
- De post noemt de regio niet. Europa is afgeleid uit het feit dat Trustpilot een Deens bedrijf is en uit de vermelding van een EU-rekenregio.
- De auteurs noemen onopgeloste problemen: een privénetwerk tussen de endpoints was niet mogelijk, en het uitrollen van de endpoints was traag en moeilijk te volgen.
Bronnen
- How Trustpilot built a real-time architecture for data enrichment using Gemma
Google Cloud Blog · 2026-06-02 · Casestudy van leverancier · cloud.google.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.