Impel remplace un LLM tiers par un Llama affiné dans son Sales AI pour concessionnaires et annonce une précision améliorée de 20 %

Le problème

Impel vend des logiciels d’IA aux concessions automobiles. Son Sales AI répond aux acheteurs potentiels par e-mail et par SMS, à toute heure, pour les garder engagés jusqu’à ce qu’ils réservent une visite en salle d’exposition. L’entreprise s’appuyait sur un modèle de langage tiers. Impel affirme que la tarification par jeton de ce fournisseur est devenue trop coûteuse à mesure que les volumes augmentaient, et que les limites de l’affinage l’empêchaient d’exploiter pleinement ses propres données pour améliorer les résultats.

Ce qu’ils ont construit

Impel a remplacé le modèle externe par un modèle Llama de Meta affiné sur ses propres données et hébergé sur Amazon SageMaker AI. Llama est un modèle open-weight (à poids ouverts), c’est-à-dire que ses fichiers sont publiés et qu’une entreprise peut l’adapter et l’héberger elle-même. Le modèle alimente trois fonctions de Sales AI : résumer les conversations passées pour déterminer l’intention, rédiger des relances qui évitent que les ventes ne s’enlisent, et personnaliser les réponses selon le discours du concessionnaire.

Comment ils s’y sont pris

Impel a affiné le modèle sur des données d’interaction clients anonymisées avec LoRA, une méthode peu coûteuse pour adapter un grand modèle. Elle a réduit la taille du modèle avec une méthode appelée AWQ pour qu’il s’exécute plus vite, et l’a déployé sur SageMaker avec une mise à l’échelle automatique pour absorber les pics de trafic. L’équipe de R&D d’Impel a travaillé avec les équipes commerciales, stratégiques et SageMaker d’AWS pendant plusieurs sprints avant le lancement. Des collaborateurs ont noté le modèle en place et le nouveau sur chaque cas d’usage.

Résultats

Dans l’évaluation d’Impel, la précision des réponses personnalisées est passée de 73 % à 86 %, celle des résumés de conversation de 70 % à 83 % et celle des messages de relance de 59 % à 92 %. Impel et AWS indiquent aussi une hausse de 20 % de la précision sur les fonctions clés. Impel cite comme autres avantages des coûts d’hébergement prévisibles, un meilleur contrôle de l’entraînement et un traitement des données au sein de son propre compte AWS. L’entreprise prévoit ensuite davantage de modèles internes ainsi que des workflows de recherche augmentée et d’agents.