Altana ajusta Llama 3.1 8B para clasificar envíos en códigos arancelarios de aduanas

El problema

Altana ayuda a empresas y gobiernos a ver sus cadenas de suministro, desde las materias primas hasta los productos terminados. Parte de ese trabajo consiste en clasificar los envíos en la categoría arancelaria de aduanas correcta, entre más de 10.000. Altana quería además llevar antes nuevas funciones de IA a sus clientes, sin depender de servicios de IA externos.

Qué construyeron

Altana usa Llama 3.1 8B de Meta, un modelo open-weight (de pesos abiertos). Eso significa que los archivos del modelo están publicados, de modo que una empresa puede adaptarlo y ejecutarlo por su cuenta. El modelo asigna datos de envíos a más de 10.000 categorías arancelarias de aduanas, usando tipos de producto y datos de relaciones del mapa de cadena de suministro de Altana. Altana dice que eligió Llama por su precisión, su menor coste y su buen encaje con Databricks, su plataforma de datos.

Cómo lo hicieron

El equipo ajustó el modelo en Databricks, es decir, lo entrenó más con los propios ejemplos de Altana, aproximadamente un millón de pares de entrada y salida. También hizo un entrenamiento adicional con datos específicos del dominio. Al principio, el modelo respondía como un clasificador y manejaba mal las preguntas abiertas, así que el equipo añadió una mezcla más amplia de entradas y salidas.

Altana despliega los modelos personalizados dentro de la cuenta de Databricks del cliente, en AWS o Azure. Así se evitan las llamadas a servicios de IA externos. La entrada de Meta dice que el equipo ve flexibilidad y ahorro en el uso de modelos abiertos.

Resultados

El vicepresidente de IA de Altana dice que Llama en Databricks permite a la empresa poner sistemas de IA generativa en producción 20 veces más rápido. La propia página de Databricks repite la cifra de 20 veces y añade una mejora del rendimiento del modelo del 20–50 %. Meta dice que los modelos ajustados están en producción con clientes del comercio minorista, la confección, la automoción y otros sectores, y que siguen mejorando a medida que los clientes los usan.

Las fuentes no dan coste ni tamaño del equipo. Ninguna explica cómo se midió la cifra de 20 veces.

Qué replicar

Elija una tarea con una respuesta correcta clara, ajuste un modelo abierto pequeño con su propio historial y mantenga el modelo dentro del entorno del cliente si la privacidad de los datos es un argumento de venta.