Convirza fait tourner 60 modèles de notation d’appels à partir d’une seule base Llama 3 et réduit ses coûts d’un facteur 10 par rapport à OpenAI

Le problème

Convirza aide les entreprises à analyser les appels de leurs clients et à évaluer la performance des conseillers. Elle traite des millions d’appels par mois et en tire des informations présentées sous forme de fiches d’évaluation. Son ancien système reposait sur des modèles Longformer (un type de modèle d’analyse de texte) entraînés sur plus de 60 indicateurs. L’entraînement prenait de 9 à 24 heures et plus par itération. Chaque modèle exigeait aussi sa propre puissance de calcul, pour un coût de 500 à 1 500 dollars par indicateur et par mois, ce qui limitait la possibilité d’ajouter des indicateurs personnalisés pour les clients.

Ce qu’ils ont construit

Convirza a entraîné un petit module complémentaire distinct (un adaptateur LoRA) pour chacun de ses 60 indicateurs et les fait tous tourner à partir d’un seul modèle de base, Llama-3-8b de Meta. Llama-3-8b est un modèle à poids ouverts : ses fichiers sont publiés et une entreprise peut l’adapter. L’affinage consiste à poursuivre l’entraînement sur les propres exemples annotés d’une entreprise. Les adaptateurs fonctionnent sur la plateforme gérée de Predibase, construite sur LoRAX, un outil open source qui sert de nombreux adaptateurs à partir d’un seul modèle de base.

Comment ils s’y sont pris

Convirza a choisi une plateforme gérée plutôt que de construire elle-même le service multi-adaptateurs, car la charge est très variable et le travail d’ingénierie aurait été considérable. Au cours du premier mois, elle a entraîné et déployé des adaptateurs pour plus de 20 indicateurs. La plateforme ajuste automatiquement les GPU : Convirza peut monter jusqu’à un nombre à deux chiffres de puces A100 aux heures de pointe, puis redescendre quand les appels ralentissent.

Résultats

Selon Predibase, Convirza a obtenu un coût divisé par 10 par rapport à OpenAI, un score F1 moyen supérieur de 8 % à celui d’OpenAI (le score F1 équilibre les cas manqués et les fausses alertes) et un débit supérieur de 80 %. Par rapport à ses anciens modèles Longformer, le débit est 4 fois plus élevé. Le temps d’inférence moyen est inférieur à la seconde, et le vice-président IA de Convirza indique que le temps de réponse moyen reste sous deux secondes sur les 60 adaptateurs.

Ce qu’il faut retenir

Si votre fonctionnalité d’IA exige de nombreuses variantes sur mesure, testez une architecture à un adaptateur par tâche sur un modèle de base partagé avant de payer de la puissance de calcul pour chaque fonctionnalité.