Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
Checkr
Checkr affine Llama 3 pour trier ses dossiers de vérification les plus difficiles, et dépasse GPT-4 dans ses tests
Checkr, une société de vérification d’antécédents, a affiné Llama-3-8B-Instruct, le modèle ouvert (open-weight) de Meta, pour classer les 2 % de dossiers les plus difficiles. Son ingénieur annonce 90 % de précision sur ces cas, des réponses 30 fois plus rapides que ses tests avec GPT-4 et des coûts d’inférence 5 fois inférieurs à ceux de GPT-4.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
90 %
Précision de Llama-3-8B-Instruct affiné sur les 2 % de cas les plus difficiles1
0,15
seconde, ce que Checkr présente comme 30 fois plus rapide que ses expériences avec GPT-4
Temps de réponse sur le trafic de production1
Réduction par 5
Coût d’inférence par rapport à GPT-41
Ce que cela a demandé
Le coût, la taille de l’équipe et le calendrier ne sont pas communiqués dans les sources.
Le problème
Checkr réalise des vérifications d’antécédents pour plus de 100 000 clients et en traite des millions chaque mois. Après une vérification, l’employeur doit décider si le candidat convient au poste, une étape appelée « adjudication ». Checkr propose une adjudication automatisée. Pour 98 % des dossiers, un modèle statistique ajusté fonctionne bien. Les 2 % restants sont des dossiers en texte brouillon qu’il faut classer dans 230 catégories. L’ancien réseau de neurones de Checkr ne classait avec une précision correcte que 1 % de l’ensemble des dossiers, laissant l’autre 1 % non classé et créant du travail supplémentaire pour les clients.
Ce qu’ils ont construit
Checkr a construit un classifieur sur Llama-3-8B-Instruct, un modèle ouvert (open-weight) de Meta. « Open-weight » signifie que les fichiers du modèle sont publiés : une entreprise peut donc l’adapter et l’exécuter elle-même. L’équipe a recouru à l’affinage (fine-tuning), qui consiste à entraîner davantage un modèle sur les exemples annotés de l’entreprise. Elle a entraîné un petit modèle sur 150 000 lignes de données de Checkr.
Comment ils s’y sont pris
L’ingénieur en apprentissage automatique de Checkr a comparé plusieurs approches sur les mêmes données. GPT-4, auquel on donnait des instructions et les 230 catégories, a obtenu 87-88 % sur les 98 % de cas les plus simples et 80-82 % sur les 2 % les plus difficiles. L’ajout d’une recherche d’exemples a amélioré la précision sur l’ensemble simple, mais pas sur l’ensemble difficile. Un Llama-2-7b affiné a fait mieux que GPT-4 sur les deux. Le meilleur résultat est venu de l’affinage de Llama-3-8B-Instruct.
L’équipe a testé plusieurs plateformes d’affinage et de déploiement, et a choisi Predibase. Celle-ci utilise LoRAX, un outil open source qui sert de nombreux petits modules affinés (adaptateurs LoRA) sur un seul modèle de base, si bien que de nouveaux usages n’exigent pas de GPU supplémentaires.
Résultats
L’ingénieur annonce 90 % de précision sur les 2 % de cas les plus difficiles, devant GPT-4 et toutes les autres expériences d’affinage. En production, les réponses prennent 0,15 seconde, soit 30 fois plus vite que dans les expériences avec GPT-4. Les coûts d’inférence ont été divisés par 5 par rapport à GPT-4. Cette tâche synchrone est soumise à des contraintes de vitesse strictes, car les clients attendent des résultats quasi instantanés.
Ce qu’il faut retenir
Commencez par cerner le problème, puis comparez un petit modèle affiné à un modèle généraliste sur vos propres données avant de choisir.
Tous les chiffres publiés
| Indicateur | Chiffre | Citation |
|---|---|---|
| Précision de Llama-3-8B-Instruct affiné sur les 2 % de cas les plus difficiles | 90 %1 | |
| Précision de GPT-4 sur les 2 % de cas les plus difficiles dans l’expérience de Checkr | 80-82 %1 | |
| Temps de réponse sur le trafic de production | 0,15 seconde, ce que Checkr présente comme 30 fois plus rapide que ses expériences avec GPT-41 | |
| Coût d’inférence par rapport à GPT-4 | Réduction par 51 | |
| Part de tous les dossiers que l’ancien réseau de neurones classait avec une précision correcte, sur les 2 % difficiles | 1 % (l’autre 1 % restait non classé)1 |
Enseignements pour votre projet
Ne confiez au modèle de langage que les cas difficiles. Checkr traite 98 % des dossiers avec un modèle statistique simple et réserve le modèle de langage aux 2 % restants.
Comparez un petit modèle affiné au grand modèle généraliste sur vos propres données. Dans le test de Checkr, le petit modèle affiné a battu GPT-4 sur les cas difficiles.
Gardez des prompts courts une fois le modèle affiné. Checkr a constaté que les changements de prompt avaient un impact minime sur la précision, donc des prompts plus courts réduisent le coût en tokens.
Choisissez une infrastructure capable d’héberger plusieurs variantes affinées sur un seul modèle. Checkr prévoit d’ajouter d’autres usages sans GPU supplémentaires.
Réserves
- La source est un article de blog publié sur le site de Predibase, l’éditeur que Checkr utilise, et rédigé par un ingénieur de Checkr. Aucune source indépendante ne confirme les chiffres.
- La page d’origine redirige désormais vers un autre site et bloquait l’accès automatisé ; ce rapport a donc été rédigé à partir d’une copie archivée de l’article original.
- L’article ne donne pas la date de mise en production ; la date de déploiement indiquée est donc la date de l’article.
- L’article n’indique pas où Checkr opère. La région affichée repose sur le fait que Checkr est une entreprise américaine, et non sur la source.
- Le tableau de l’article présente les coûts de GPT-4 et de Llama affiné en dollars sans préciser la période ni les unités ; aucun montant en dollars n’est donc repris ici.
Sources
- Fine-Tuned SLMs Help Checkr Optimize Background Checks
Predibase · 2024-10-03 · Étude de cas de l’éditeur · predibase.com
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.