Faire ajusta Llama 3 8B para puntuar la relevancia de las búsquedas y supera a su modelo GPT ajustado

El problema

Faire es un marketplace mayorista en línea. Los minoristas buscan en él productos para sus tiendas. Cuando los resultados no coinciden con la consulta, los compradores pierden confianza en la plataforma. Faire necesitaba medir la relevancia de sus resultados de búsqueda. Al principio pagaba a un proveedor externo para que etiquetara a mano cada mes una muestra de resultados. Era caro y las etiquetas llegaban un mes tarde.

Qué construyeron

Faire construyó un modelo que lee una consulta de búsqueda y una ficha de producto y valora la coincidencia en una escala de cuatro niveles: exacta, sustituto, complemento o irrelevante. Una primera versión usaba un modelo GPT ajustado. Ajustar (fine-tuning) significa entrenar más un modelo existente con ejemplos etiquetados propios. Esa versión permitió medir a diario, pero estaba limitada por las tarifas por uso de la API.

Después Faire ajustó modelos Llama de pesos abiertos de Meta. Pesos abiertos significa que los archivos del modelo están publicados, de modo que una empresa puede ejecutarlos en su propio hardware. El mejor resultado vino de Llama3-8b.

Cómo lo hicieron

El equipo redactó primero reglas de etiquetado y logró más de un 90 % de acuerdo entre etiquetadores humanos. Entrenó Llama2-7b, Llama2-13b y Llama3-8b con tres tamaños de datos etiquetados y los comparó con el modelo GPT en unos 5.000 registros reservados. Entrenó con 8 GPU A100 usando LoRA, un método que actualiza solo una pequeña parte de los parámetros de un modelo, aquí cerca del 4 %. El entrenamiento usó GPU que la empresa ya tenía para otros trabajos de aprendizaje profundo.

Para el uso diario, el modelo funciona en el propio clúster de GPU de Faire. El equipo lo comprimió a números de 8 bits, ejecutó lotes en tarjetas A100 individuales y añadió más máquinas según hizo falta.

Resultados

Faire informa de una mejora del 28 % en el acuerdo con las etiquetas humanas frente a su modelo GPT en producción. Cuanto mayor es el conjunto de datos etiquetados, mejores son los resultados, y la diferencia entre modelos base se redujo al crecer los datos. Cuando Faire rellenó las etiquetas de búsquedas pasadas, el clúster alcanzó 70 millones de predicciones al día con 16 GPU. Faire dice que esto le permite medir a diario la relevancia de la búsqueda y analizar la personalización y los experimentos.

Qué replicar

Defina la calidad en términos en los que la gente esté de acuerdo, construya datos etiquetados y luego pruebe modelos abiertos pequeños frente al modelo de pago que usa hoy.