Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Convirza
Convirza betreibt 60 Modelle zur Anrufbewertung auf einer Llama-3-Basis und senkt die Kosten gegenüber OpenAI um das 10-Fache
Convirza, eine Plattform für Anrufanalyse, hat seine Longformer-Modelle durch Adapter ersetzt, die auf Metas Open-Weight-Modell Llama-3-8b feinabgestimmt wurden. Predibase, das die Lösung hostet, berichtet von 10-fach geringeren Kosten, einem um 8 % höheren F1-Wert als bei OpenAI und einer mittleren Inferenzzeit unter einer Sekunde.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
Was es erforderte
Das Problem
Convirza hilft Unternehmen, Kundenanrufe zu analysieren und die Leistung von Agenten zu bewerten. Das Unternehmen verarbeitet Millionen Anrufe im Monat und überführt die Informationen in Scorecards. Das ältere System nutzte Longformer-Modelle (eine Art Textanalysemodell), die auf mehr als 60 Kennzahlen trainiert waren. Das Training dauerte 9 bis über 24 Stunden pro Iteration. Jedes Modell brauchte außerdem eigene Rechenleistung, die 500 bis 1.500 Dollar pro Kennzahl und Monat kostete und die Möglichkeit begrenzte, individuelle Kennzahlen für Kunden anzubieten.
Was sie gebaut haben
Convirza trainierte für jede seiner 60 Kennzahlen ein eigenes kleines Zusatzmodul (einen LoRA-Adapter) und betreibt sie alle auf einem gemeinsamen Basismodell, Metas Llama-3-8b. Llama-3-8b ist ein Open-Weight-Modell: Seine Dateien sind veröffentlicht, und ein Unternehmen kann es anpassen. Feinabstimmung (Fine-Tuning) bedeutet, mit den eigenen gelabelten Beispielen eines Unternehmens weiterzutrainieren. Die Adapter laufen auf der verwalteten Plattform von Predibase, die auf LoRAX aufbaut, einem Open-Source-Werkzeug, das viele Adapter von einem einzigen Basismodell aus bereitstellt.
Wie sie vorgegangen sind
Convirza entschied sich für eine verwaltete Plattform, statt das Multi-Adapter-Serving selbst zu bauen, weil die Last stark schwankt und der Entwicklungsaufwand groß gewesen wäre. Im ersten Monat trainierte und startete das Unternehmen Adapter für mehr als 20 Kennzahlen. Die Plattform skaliert die GPUs automatisch: Convirza kann in Spitzenzeiten auf zweistellig viele A100-Chips hochfahren und wieder herunterskalieren, wenn weniger Anrufe eingehen.
Ergebnisse
Laut Predibase erzielte Convirza 10-fach geringere Kosten als mit OpenAI, einen um 8 % höheren durchschnittlichen F1-Wert als OpenAI (der F1-Wert gleicht übersehene Fälle gegen Fehlalarme aus) und einen um 80 % höheren Durchsatz als OpenAI. Gegenüber den früheren Longformer-Modellen ist der Durchsatz 4-fach höher. Die mittlere Inferenzzeit liegt unter einer Sekunde, und Convirzas VP of AI sagt, die durchschnittliche Antwortzeit bleibe über alle 60 Adapter unter zwei Sekunden.
Was Sie übernehmen können
Wenn Ihre KI-Funktion viele maßgeschneiderte Varianten braucht, testen Sie ein Design mit einem Adapter pro Aufgabe auf einem gemeinsamen Basismodell, bevor Sie für jede Funktion eigene Rechenleistung bezahlen.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Betriebskosten im Vergleich zu OpenAI | 10-fach niedriger1 | |
| Durchschnittlicher F1-Wert im Vergleich zu OpenAI, über die ersten mehr als 20 Kennzahlen | 8 % höher1 | |
| Durchsatz im Vergleich zu OpenAI | 80 % höher1 | |
| Durchsatz im Vergleich zu den früheren Longformer-Modellen | 4-fach höher1 | |
| Mittlere Inferenzzeit | Unter einer Sekunde1 | |
| Frühere Kosten für den Betrieb einer Longformer-Kennzahl | 500 bis 1.500 Dollar pro Monat1 | |
| Frühere Trainingsdauer pro Iteration | 9 bis über 24 Stunden1 |
Erkenntnisse für Ihr Projekt
Rechnen Sie die Kosten eines Modells pro Funktion durch. Convirzas altes Setup brauchte für jede der 60 Kennzahlen eigene Rechenleistung, was die Inferenzkosten auf Hunderttausende Dollar pro Jahr trieb.
Teilen Sie ein Basismodell auf viele angepasste Varianten auf. Kleine Zusatzadapter auf einem Llama-Modell erlaubten Convirza, Kennzahlen hinzuzufügen, ohne für jede einen eigenen Server zu betreiben.
Kaufen Sie die Serving-Ebene ein, wenn Ihnen das Team für den Betrieb fehlt. Convirza entschied sich für eine verwaltete Plattform statt für eine selbst gebaute Multi-Adapter-Infrastruktur.
Planen Sie Lastspitzen ein. In Spitzenzeiten der Anrufverarbeitung muss Convirza auf zweistellig viele A100-GPUs hochskalieren.
Einschränkungen
- Die Quelle ist eine Fallstudie von Predibase mit Zitaten von Convirzas VP of AI. Keine unabhängige Quelle bestätigt die Zahlen.
- Der Beitrag nennt eine mittlere Inferenzzeit unter einer Sekunde, während ein Zitat von Convirza im selben Beitrag von einer durchschnittlichen Antwortzeit unter zwei Sekunden spricht.
- Der Beitrag nennt weder das OpenAI-Modell, mit dem verglichen wurde, noch den Testdatensatz.
- Der Beitrag nennt kein Datum für die Inbetriebnahme. Das angegebene Einsatzdatum ist das Datum des Beitrags.
- Der Beitrag gibt nicht an, wo Convirza tätig ist. Die angezeigte Region ist eine Annahme und stammt nicht aus der Quelle.
Quellen
- Improving Agent Feedback with Multi-LoRA at Convirza
Predibase · 2024-11-25 · Fallstudie des Anbieters · predibase.com
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.