Convirza ejecuta 60 modelos de puntuación de llamadas desde una sola base Llama 3 y reduce el coste 10 veces frente a OpenAI

El problema

Convirza ayuda a las empresas a analizar las llamadas de sus clientes y a puntuar el desempeño de los agentes. Procesa millones de llamadas al mes y extrae información para elaborar fichas de puntuación. Su sistema anterior usaba modelos Longformer (un tipo de modelo de análisis de texto) entrenados con más de 60 indicadores. El entrenamiento tardaba de 9 a más de 24 horas por iteración. Además, cada modelo requería su propia capacidad de cómputo, con un coste de 500 a 1.500 dólares por indicador al mes, lo que limitaba la posibilidad de añadir indicadores personalizados para los clientes.

Qué construyeron

Convirza entrenó un pequeño complemento independiente (un adaptador LoRA) para cada uno de sus 60 indicadores y los sirve todos desde un único modelo base, Llama-3-8b de Meta. Llama-3-8b es un modelo de pesos abiertos: sus archivos están publicados y una empresa puede adaptarlo. El ajuste fino (fine-tuning) consiste en seguir entrenando con los propios ejemplos etiquetados de una empresa. Los adaptadores funcionan en la plataforma gestionada de Predibase, basada en LoRAX, una herramienta de código abierto que sirve muchos adaptadores a partir de un solo modelo base.

Cómo lo hicieron

Convirza eligió una plataforma gestionada en lugar de construir ella misma el servicio multiadaptador, porque la carga es muy variable y el trabajo de ingeniería habría sido grande. Durante el primer mes entrenó y desplegó adaptadores para más de 20 indicadores. La plataforma escala las GPU automáticamente, de modo que Convirza puede subir hasta decenas de chips A100 en las horas punta y volver a bajar cuando disminuyen las llamadas.

Resultados

Según Predibase, Convirza logró un coste 10 veces menor que con OpenAI, una puntuación F1 media un 8 % superior a la de OpenAI (la F1 equilibra los casos que se escapan y las falsas alarmas) y un rendimiento un 80 % superior. Frente a sus anteriores modelos Longformer, el rendimiento es 4 veces superior. El tiempo medio de inferencia es inferior a un segundo, y el vicepresidente de IA de Convirza afirma que el tiempo medio de respuesta se mantiene por debajo de dos segundos con los 60 adaptadores.

Qué replicar

Si su función de IA necesita muchas variantes a medida, pruebe un diseño de un adaptador por tarea sobre un modelo base compartido antes de pagar capacidad de cómputo para cada función.