Convirza gestisce 60 modelli di valutazione delle chiamate da un'unica base Llama 3 e riduce i costi di 10 volte rispetto a OpenAI

Il problema

Convirza aiuta le aziende ad analizzare le chiamate dei clienti e a valutare le prestazioni degli operatori. Elabora milioni di chiamate al mese e ne estrae informazioni in schede di valutazione. Il vecchio sistema usava modelli Longformer (un tipo di modello di analisi del testo) addestrati su oltre 60 indicatori. L'addestramento richiedeva da 9 a oltre 24 ore per iterazione. Ogni modello aveva inoltre bisogno di una propria capacità di calcolo, con un costo da 500 a 1.500 dollari per indicatore al mese, e questo limitava la possibilità di aggiungere indicatori personalizzati per i clienti.

Cosa hanno costruito

Convirza ha addestrato un piccolo modulo aggiuntivo separato (un adattatore LoRA) per ciascuno dei suoi 60 indicatori e li eroga tutti da un unico modello di base, Llama-3-8b di Meta. Llama-3-8b è un modello open-weight: i suoi file sono pubblici e un'azienda può adattarlo. L'ottimizzazione (fine-tuning) consiste nel proseguire l'addestramento sugli esempi etichettati di un'azienda. Gli adattatori funzionano sulla piattaforma gestita di Predibase, costruita su LoRAX, uno strumento open source che serve molti adattatori a partire da un solo modello di base.

Come ci sono riusciti

Convirza ha scelto una piattaforma gestita invece di costruire da sé l'erogazione multi-adattatore, perché il carico è molto variabile e il lavoro di ingegneria sarebbe stato notevole. Nel primo mese ha addestrato e messo in produzione adattatori per oltre 20 indicatori. La piattaforma scala le GPU in automatico, quindi Convirza può arrivare a decine di chip A100 nei picchi e ridurli quando le chiamate rallentano.

Risultati

Secondo Predibase, Convirza ha ottenuto una riduzione dei costi di 10 volte rispetto a OpenAI, un punteggio F1 medio superiore dell'8% a quello di OpenAI (l'F1 bilancia i casi mancati e i falsi allarmi) e un throughput superiore dell'80%. Rispetto ai precedenti modelli Longformer, il throughput è 4 volte superiore. Il tempo medio di inferenza è inferiore al secondo, e il vicepresidente IA di Convirza dice che il tempo medio di risposta resta sotto i due secondi su tutti i 60 adattatori.

Cosa replicare

Se la vostra funzione di IA richiede molte varianti su misura, provate un'architettura con un adattatore per attività su un modello di base condiviso prima di pagare calcolo dedicato per ogni funzione.