Faire affine Llama 3 8B pour évaluer la pertinence de la recherche et dépasse son modèle GPT affiné

Le problème

Faire est une place de marché en ligne de vente en gros. Les détaillants y cherchent des produits pour leurs boutiques. Quand les résultats ne correspondent pas à la requête, les acheteurs perdent confiance dans la plateforme. Faire devait mesurer la pertinence de ses résultats de recherche. Au départ, elle payait un prestataire externe pour étiqueter à la main un échantillon de résultats chaque mois. C'était coûteux, et les étiquettes arrivaient avec un mois de retard.

Ce qu’ils ont construit

Faire a construit un modèle qui lit une requête de recherche et une fiche produit et évalue la correspondance sur une échelle à quatre niveaux : exacte, de substitution, complémentaire ou non pertinente. Une première version utilisait un modèle GPT affiné. L'affinage consiste à entraîner davantage un modèle existant sur ses propres exemples annotés. Cette version permettait une mesure quotidienne mais était limitée par les frais d'utilisation de l'API.

Faire a ensuite affiné des modèles Llama à poids ouverts de Meta. Poids ouverts signifie que les fichiers du modèle sont publiés, de sorte qu'une entreprise peut les exécuter sur son propre matériel. Le meilleur résultat est venu de Llama3-8b.

Comment ils s’y sont pris

L'équipe a d'abord rédigé des règles d'étiquetage et obtenu plus de 90 % d'accord entre annotateurs humains. Elle a entraîné Llama2-7b, Llama2-13b et Llama3-8b sur trois tailles de données annotées et les a comparés au modèle GPT sur environ 5 000 enregistrements mis de côté. L'entraînement s'est fait sur 8 GPU A100 avec LoRA, une méthode qui ne met à jour qu'une petite part des paramètres d'un modèle, ici environ 4 %. L'entraînement a utilisé des GPU que l'entreprise possédait déjà pour d'autres travaux d'apprentissage profond.

Pour l'usage quotidien, le modèle tourne sur le cluster de GPU de Faire. L'équipe l'a compressé en nombres de 8 bits, a exécuté des lots sur des cartes A100 individuelles et a ajouté des machines selon les besoins.

Résultats

Faire annonce un gain de 28 % d'accord avec les étiquettes humaines par rapport à son modèle GPT en production. Plus le jeu de données annotées est grand, meilleurs sont les résultats, et l'écart entre les modèles de base s'est réduit à mesure que les données augmentaient. Lorsque Faire a rempli les étiquettes des recherches passées, le cluster a atteint 70 millions de prédictions par jour avec 16 GPU. Faire affirme que cela lui permet de mesurer chaque jour la pertinence de la recherche et d'analyser la personnalisation et les expériences.

Ce qu’il faut retenir

Définissez la qualité en termes sur lesquels les gens s'accordent, constituez des données annotées, puis testez de petits modèles ouverts face au modèle payant que vous utilisez aujourd'hui.