Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Trustpilot
Trustpilot affina piccoli modelli Gemma per etichettare milioni di recensioni al giorno
Trustpilot ha affinato (fine-tuning) piccoli modelli Gemma, la famiglia di modelli aperti (open-weight) di Google, per etichettare ogni giorno milioni di recensioni dei clienti per argomento, entità nominate e sentiment. Google Cloud e Trustpilot indicano un’accuratezza inferiore di un paio di punti percentuali rispetto ai modelli più grandi che hanno etichettato i dati di addestramento, a una frazione del costo.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
Milioni al giorno, quasi in tempo reale
Recensioni elaborate, secondo la descrizione degli autori1
Inferiore di un paio di punti percentuali
Accuratezza dei modelli affinati rispetto al consenso dei modelli insegnanti più grandi1
Notevolmente migliore (nessuna cifra indicata)
Accuratezza rispetto alla soluzione precedente1
Cosa è servito
Il problema
Il business di Trustpilot dipende dalla trasformazione delle recensioni dei clienti in dati utilizzabili: di quale argomento tratta una recensione, quali aziende o prodotti cita, quanto è positiva e che cosa vuole chi la scrive. L’azienda riceve milioni di recensioni e ha bisogno dei risultati in tempi rapidi. Inviare ciascuna recensione a un modello commerciale di punta è costoso a questo volume, e secondo gli autori un modello chiuso lega inoltre Trustpilot ai prezzi e al calendario degli aggiornamenti di un fornitore.
Cosa hanno costruito
Trustpilot ha costruito un insieme di piccoli modelli specializzati basati su Gemma 2 9B, un modello aperto di Google. Aperto (open-weight) significa che i file del modello sono pubblicati, quindi un’azienda può adattarlo ed eseguirlo sul proprio account cloud. Il fine-tuning consiste nell’addestrare ulteriormente un modello sugli esempi etichettati dell’azienda. I modelli si occupano di classificazione per argomento, riconoscimento di entità nominate (individuare nei testi i nomi di aziende e prodotti) ed estrazione del sentiment.
Come ci sono riusciti
Il team ha prima fatto etichettare a modelli Gemini più grandi di Google un campione rappresentativo di recensioni Trustpilot. Ha tenuto le etichette su cui i modelli insegnanti erano d’accordo e le ha usate come dati di addestramento. Con queste etichette degli «insegnanti» sono stati addestrati i piccoli modelli.
In produzione, una pipeline in streaming su Google Cloud invia ogni recensione a due servizi. Uno gestisce preparazione e prompt. L’altro serve Gemma tramite vLLM, uno strumento open source di serving, su GPU A100. Gli autori hanno ottimizzato le impostazioni di vLLM, creato un metodo riutilizzabile di test di carico e impostato la scalabilità automatica in base al numero di richieste. Il progetto congiunto con Google si è svolto alla fine del 2025.
Risultati
Gli autori riferiscono che i modelli affinati hanno nettamente superato la soluzione precedente di Trustpilot e sono arrivati a un paio di punti percentuali dal consenso dei modelli insegnanti. Dicono che la pipeline elabora milioni di recensioni al giorno quasi in tempo reale, con prestazioni simili a quelle di un modello Gemini a una frazione del costo. L’articolo non fornisce cifre sul risparmio.
Cosa è andato storto
La rete privata tra i due endpoint non era supportata in modo nativo, quindi non è stato possibile il progetto completamente isolato. Le distribuzioni erano lente e opache, e i chip A100 nella regione UE erano difficili da ottenere.
Lezioni per il vostro progetto
Usate un modello grande come insegnante, non come motore di produzione. Trustpilot ha fatto etichettare un campione di recensioni a modelli più grandi e poi ha addestrato piccoli modelli su quelle etichette.
Scegliete un costo di infrastruttura fisso invece del prezzo per token quando il volume è alto e costante. Trustpilot cita questa prevedibilità tra i motivi della scelta dei modelli aperti.
Tenete il modello linguistico e la logica di business in servizi separati, così che ciascuno possa scalare in modo indipendente.
Verificate presto la disponibilità delle GPU. Procurarsi chip A100 nella regione UE è stato difficile, quindi le prenotazioni hanno dovuto essere condivise tra sviluppo, addestramento e produzione.
Avvertenze
- L’articolo è scritto congiuntamente da personale di Trustpilot e di Google e non fornisce cifre assolute su costi, latenza o accuratezza, ma solo affermazioni relative.
- L’articolo non dice quando la pipeline è entrata in produzione. La data di rilascio indicata è il mese di pubblicazione dell’articolo; il progetto congiunto si è svolto alla fine del 2025.
- L’articolo non indica la regione. L’Europa si deduce dal fatto che Trustpilot è un’azienda danese e dal riferimento a una regione di calcolo dell’UE.
- Gli autori elencano problemi irrisolti: la rete privata tra gli endpoint non era possibile e la distribuzione degli endpoint era lenta e difficile da osservare.
Fonti
- How Trustpilot built a real-time architecture for data enrichment using Gemma
Google Cloud Blog · 2026-06-02 · Caso di studio del fornitore · cloud.google.com
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.