Altana affine Llama 3.1 8B pour classer les expéditions dans les codes tarifaires douaniers

Le problème

Altana aide les entreprises et les gouvernements à voir leurs chaînes d’approvisionnement, des matières premières aux produits finis. Une partie de ce travail consiste à classer les expéditions dans la bonne catégorie tarifaire douanière, parmi plus de 10 000. Altana voulait aussi livrer plus vite de nouvelles fonctions d’IA à ses clients, sans dépendre de services d’IA externes.

Ce qu’ils ont construit

Altana utilise Llama 3.1 8B de Meta, un modèle open-weight (à poids ouverts). Cela signifie que les fichiers du modèle sont publiés, de sorte qu’une entreprise peut l’adapter et l’exécuter elle-même. Le modèle associe les données d’expédition à plus de 10 000 catégories tarifaires douanières, à partir des types de produits et des données de relations de la carte de la chaîne d’approvisionnement d’Altana. Altana dit avoir choisi Llama pour sa précision, son coût plus faible et sa bonne adéquation avec Databricks, sa plateforme de données.

Comment ils s’y sont pris

L’équipe a affiné le modèle sur Databricks, c’est-à-dire qu’elle l’a entraîné davantage sur les propres exemples d’Altana, soit environ un million de paires entrée-sortie. Elle a aussi mené un entraînement supplémentaire sur des données propres au domaine. Au début, le modèle répondait comme un classificateur et traitait mal les questions ouvertes ; l’équipe a donc ajouté un éventail plus large d’entrées et de sorties.

Altana déploie les modèles personnalisés dans le compte Databricks du client, sur AWS ou Azure. Cela évite les appels à des services d’IA externes. L’article de Meta indique que l’équipe voit de la souplesse et des économies dans l’usage de modèles ouverts.

Résultats

Le vice-président IA d’Altana affirme que Llama sur Databricks permet à l’entreprise de mettre des systèmes d’IA générative en production 20 fois plus vite. La page de Databricks reprend le chiffre de 20 fois et y ajoute un gain de performance du modèle de 20–50 %. Meta indique que les modèles affinés sont en service chez des clients du commerce de détail, de l’habillement, de l’automobile et d’autres secteurs, et qu’ils continuent de s’améliorer à mesure que les clients les utilisent.

Les sources ne donnent ni coût ni taille d’équipe. Aucune n’explique comment le chiffre de 20 fois a été mesuré.

Ce qu’il faut retenir

Choisissez une tâche dont la bonne réponse est claire, affinez un petit modèle ouvert sur votre propre historique et gardez le modèle dans l’environnement du client si la confidentialité des données est un argument de vente.