Instacart usa modelos de lenguaje, entre ellos un Llama-3-8B ajustado, para entender búsquedas raras de supermercado

El problema

Cuando los clientes buscan en Instacart, escriben cosas como «bread no gluten» (traducción: «pan sin gluten»). La empresa llama comprensión de consultas al trabajo de interpretar estas búsquedas. Durante años se apoyó en modelos de aprendizaje automático distintos para cada tarea. Las búsquedas raras les costaban, porque había poco historial de clics del que aprender. El antiguo sistema de reformulación, además, solo cubría cerca de la mitad del tráfico de búsqueda. Mantener tantos sistemas separados frenaba el desarrollo.

Qué construyeron

Instacart pasó la comprensión de consultas a grandes modelos de lenguaje (LLM) en tres tareas. Una clasifica la consulta en el árbol de categorías del catálogo de productos. Otra la reformula como sustitutos, búsquedas más amplias o sinónimos. Una tercera etiqueta partes de la consulta, como el producto, la marca y los atributos.

Para el etiquetado, Instacart montó un sistema en dos partes. Un modelo grande trabaja fuera de línea sobre las consultas habituales y guarda las respuestas validadas en una caché. Las consultas raras van a un modelo pequeño, un Llama-3-8B ajustado. Pesos abiertos significa que los archivos del modelo están publicados, de modo que una empresa puede adaptarlo y alojarlo.

Cómo lo hicieron

Instacart incorpora sus propios datos a los prompts: historial de compras y detalles del catálogo. Esta técnica se llama generación aumentada por recuperación. Tras la respuesta del modelo, unos controles contra el catálogo eliminan resultados inventados o fuera de lugar. Las respuestas del modelo fuera de línea sirvieron además como datos de entrenamiento del modelo pequeño, que así aprendió a imitar al grande.

La velocidad fue el principal obstáculo. De serie, el modelo pequeño tardaba casi 700 ms en GPU A100. Fusionar la capa de ajuste con el modelo base y pasar a GPU H100 permitió alcanzar el objetivo de 300 ms. El equipo probó una configuración de menor precisión, un 10 % más rápida pero que perjudicaba ligeramente la exhaustividad, y no la utilizó. También añadió escalado automático, de modo que funcionan menos GPU en las horas de poca demanda.

Resultados

Instacart indica que el modelo pequeño iguala a uno mucho mayor, con una precisión del 96,4 % frente al 95,4 %, una exhaustividad algo menor y un F1 similar. En pruebas A/B, el etiquetado de consultas de cola larga redujo un 6 % la profundidad media de desplazamiento, así que los clientes encontraban los productos antes. Instacart afirma que el sistema está en producción, atiende cada semana millones de consultas de arranque en frío y redujo un 50 % las quejas por malos resultados en consultas de cola larga. Las reformulaciones con modelos de lenguaje elevaron la cobertura por encima del 95 %, con más del 90 % de precisión.

Qué replicar

Use modelos grandes para preparar datos y respuestas fuera de línea y, después, sirva la cola larga con un modelo pequeño ajustado.