Trustpilot ajusta pequeños modelos Gemma para etiquetar millones de reseñas al día

El problema

El negocio de Trustpilot depende de convertir las reseñas de clientes en datos utilizables: qué tema trata una reseña, qué empresas o productos nombra, cuán positiva es y qué quiere su autor. Recibe millones de reseñas y necesita los resultados con rapidez. Enviar cada una a un modelo comercial de primer nivel resulta caro a ese volumen, y los autores señalan que un modelo cerrado también ata a Trustpilot a los precios y al calendario de actualizaciones de un proveedor.

Qué construyeron

Trustpilot construyó un conjunto de modelos pequeños y especializados sobre Gemma 2 9B, un modelo abierto de Google. Abierto (open-weight) significa que los archivos del modelo están publicados, de modo que una empresa puede adaptarlo y ejecutarlo en su propia cuenta en la nube. El ajuste (fine-tuning) consiste en seguir entrenando un modelo con ejemplos etiquetados de la propia empresa. Los modelos se encargan de la clasificación por temas, el reconocimiento de entidades nombradas (encontrar nombres de empresas y productos en un texto) y la extracción del sentimiento.

Cómo lo hicieron

El equipo hizo primero que modelos Gemini más grandes de Google etiquetaran una muestra representativa de reseñas de Trustpilot. Conservó las etiquetas en las que coincidían los modelos maestros y las usó como datos de entrenamiento. Con esas etiquetas de los «maestros» se entrenaron los modelos pequeños.

En producción, una canalización de flujo continuo en Google Cloud envía cada reseña a dos servicios. Uno se ocupa de la preparación y los prompts. El otro sirve Gemma mediante vLLM, una herramienta de servicio de código abierto, en GPU A100. Los autores ajustaron los parámetros de vLLM, crearon un método reutilizable de pruebas de carga y fijaron el escalado automático según el número de solicitudes. El proyecto conjunto con Google se desarrolló a finales de 2025.

Resultados

Los autores indican que los modelos ajustados superaron con claridad la solución anterior de Trustpilot y quedaron a un par de puntos porcentuales del consenso de los modelos maestros. Afirman que la canalización procesa millones de reseñas al día casi en tiempo real, con un rendimiento similar al de un modelo Gemini a una fracción del coste. El artículo no da cifras del ahorro.

Qué salió mal

La red privada entre los dos puntos de conexión no tenía soporte nativo, por lo que no fue posible el diseño totalmente aislado. Los despliegues eran lentos y opacos, y los chips A100 de la región de la UE eran difíciles de conseguir.