Impel sostituisce un LLM di terze parti con un Llama affinato nel suo Sales AI per concessionari e dichiara una precisione migliorata del 20%

Il problema

Impel vende software di IA ai concessionari di auto. Il suo Sales AI risponde ai potenziali acquirenti via e-mail e SMS a ogni ora, per tenerli coinvolti fino alla prenotazione di una visita in salone. L'azienda si affidava a un modello linguistico di terze parti. Impel dice che i prezzi per token di quel fornitore sono diventati troppo costosi con la crescita dei volumi e che i limiti all'affinamento le impedivano di sfruttare appieno i propri dati per migliorare i risultati.

Cosa hanno costruito

Impel ha sostituito il modello esterno con un modello Llama di Meta affinato sui propri dati e ospitato su Amazon SageMaker AI. Llama è un modello open-weight (a pesi aperti), cioè i suoi file sono pubblicati e un'azienda può adattarlo e ospitarlo in proprio. Il modello alimenta tre funzioni di Sales AI: riassumere le conversazioni passate per capire l'intento, scrivere follow-up che evitino lo stallo delle trattative e personalizzare le risposte secondo i messaggi del concessionario.

Come ci sono riusciti

Impel ha affinato il modello su dati anonimizzati di interazione con i clienti usando LoRA, un modo economico per adattare un grande modello. Ha ridotto le dimensioni del modello con un metodo chiamato AWQ perché giri più velocemente, e lo ha servito su SageMaker con scalabilità automatica per gestire i picchi di traffico. Il team di R&S di Impel ha lavorato con i team account, strategia e SageMaker di AWS per diversi sprint prima del lancio. Il personale ha valutato il modello precedente e quello nuovo su ogni caso d'uso.

Risultati

Nella valutazione di Impel, le risposte personalizzate sono migliorate dal 73% all'86% di precisione, i riassunti delle conversazioni dal 70% all'83% e i messaggi di follow-up dal 59% al 92%. Impel e AWS dichiarano inoltre un aumento del 20% della precisione nelle funzioni principali. Tra gli altri vantaggi Impel cita costi di hosting prevedibili, un controllo più stretto dell'addestramento e dati elaborati all'interno del proprio account AWS. Per il futuro prevede più modelli interni e flussi di lavoro basati su retrieval e agenti.