Impel vervangt een extern taalmodel door afgestemd Llama in zijn Sales AI voor autodealers en meldt 20% betere nauwkeurigheid

Het probleem

Impel verkoopt AI-software aan autodealers. Zijn Sales AI beantwoordt potentiële kopers de klok rond per e-mail en sms, zodat ze betrokken blijven tot ze een bezoek aan de showroom boeken. Het bedrijf vertrouwde op een taalmodel van een externe partij. Impel zegt dat de prijs per token van die leverancier te hoog werd naarmate de volumes groeiden, en dat beperkingen bij het afstemmen verhinderden dat het zijn eigen data volledig kon gebruiken om de resultaten te verbeteren.

Wat ze bouwden

Impel verving het externe model door een Meta Llama-model dat is afgestemd op eigen data en wordt gehost op Amazon SageMaker AI. Llama is een open-weightmodel (met open gewichten), wat betekent dat de bestanden openbaar zijn en een bedrijf het zelf kan aanpassen en hosten. Het model drijft drie functies van Sales AI aan: eerdere gesprekken samenvatten om de intentie vast te stellen, opvolgberichten schrijven die voorkomen dat deals blijven hangen, en antwoorden afstemmen op de boodschap van de dealer.

Hoe ze het aanpakten

Impel stemde het model af op geanonimiseerde klantinteractiedata met LoRA, een goedkope manier om een groot model aan te passen. Het verkleinde het model met een methode die AWQ heet, zodat het sneller draait, en draaide het op SageMaker met automatische schaling om piekbelasting op te vangen. Het R&D-team van Impel werkte vóór de lancering gedurende meerdere sprints samen met de account-, strategie- en SageMaker-teams van AWS. Medewerkers beoordeelden het bestaande en het nieuwe model per toepassing.

Resultaten

In de evaluatie van Impel verbeterde de nauwkeurigheid van gepersonaliseerde antwoorden van 73% naar 86%, die van gespreksamenvattingen van 70% naar 83% en die van opvolgberichten van 59% naar 92%. Impel en AWS noemen daarnaast een toename van de nauwkeurigheid met 20% over de kernfuncties. Als verdere voordelen noemt Impel voorspelbare hostingkosten, strakkere controle over de training en gegevensverwerking binnen het eigen AWS-account. Als volgende stap plant het bedrijf meer eigen modellen en workflows met retrieval en agents.