Impel sustituye un LLM de terceros por un Llama ajustado en su Sales AI para concesionarios y comunica una mejora del 20 % en la precisión

El problema

Impel vende software de IA a concesionarios de automóviles. Su Sales AI responde a los posibles compradores por correo electrónico y SMS a cualquier hora, para mantenerlos interesados hasta que reservan una visita al concesionario. La empresa dependía de un modelo de lenguaje de terceros. Impel afirma que los precios por token de ese proveedor se volvieron demasiado caros a medida que crecían los volúmenes, y que los límites al ajuste le impedían aprovechar del todo sus propios datos para mejorar los resultados.

Qué construyeron

Impel sustituyó el modelo externo por un modelo Llama de Meta ajustado con sus propios datos y alojado en Amazon SageMaker AI. Llama es un modelo de pesos abiertos, es decir, sus archivos están publicados y una empresa puede adaptarlo y alojarlo por su cuenta. El modelo impulsa tres funciones de Sales AI: resumir conversaciones anteriores para deducir la intención, redactar mensajes de seguimiento que eviten que las ventas se estanquen y personalizar las respuestas según el estilo de comunicación del concesionario.

Cómo lo hicieron

Impel ajustó el modelo con datos anonimizados de interacciones con clientes mediante LoRA, una forma económica de adaptar un modelo grande. Redujo el tamaño del modelo con un método llamado AWQ para que funcione más rápido y lo sirvió en SageMaker con escalado automático para absorber los picos de tráfico. El equipo de I+D de Impel trabajó con los equipos de cuentas, estrategia y SageMaker de AWS durante varios sprints antes del lanzamiento. El personal puntuó el modelo anterior y el nuevo en cada caso de uso.

Resultados

En la evaluación de Impel, las respuestas personalizadas mejoraron del 73 % al 86 % de precisión, los resúmenes de conversaciones del 70 % al 83 % y los mensajes de seguimiento del 59 % al 92 %. Impel y AWS también indican un aumento del 20 % en la precisión de las funciones principales. Impel cita como otras ventajas unos costes de alojamiento predecibles, un mayor control del entrenamiento y el procesamiento de los datos dentro de su propia cuenta de AWS. Como próximos pasos, prevé más modelos propios y flujos de trabajo de recuperación y de agentes.