Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Convirza
Convirza draait 60 gespreksscoremodellen op één Llama 3-basis en verlaagt de kosten 10 keer ten opzichte van OpenAI
Convirza, een platform voor gespreksanalyse, stapte over van Longformer-modellen op adapters die zijn afgestemd op Llama-3-8b, het open-weightmodel van Meta. Predibase, dat de oplossing host, meldt 10 keer lagere kosten, een 8% hogere F1-score dan OpenAI en een gemiddelde inferentietijd van minder dan een seconde.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
Wat het kostte
Het probleem
Convirza helpt bedrijven klantgesprekken te analyseren en te beoordelen hoe goed medewerkers presteren. Het verwerkt miljoenen gesprekken per maand en zet de informatie om in scorekaarten. Het oudere systeem gebruikte Longformer-modellen (een soort tekstanalysemodel) die waren getraind op meer dan 60 indicatoren. Het trainen duurde 9 tot 24+ uur per iteratie. Elk model had bovendien eigen rekenkracht nodig, die $ 500 tot $ 1.500 per indicator per maand kostte en de mogelijkheid beperkte om aangepaste indicatoren voor klanten toe te voegen.
Wat ze bouwden
Convirza trainde voor elk van de 60 indicatoren een eigen kleine add-on (een LoRA-adapter) en serveert ze allemaal vanaf één basismodel, Llama-3-8b van Meta. Llama-3-8b is een open-weightmodel: de bestanden zijn openbaar en een bedrijf kan het aanpassen. Fine-tuning betekent verder trainen op de eigen gelabelde voorbeelden van een bedrijf. De adapters draaien op het beheerde platform van Predibase, dat is gebouwd op LoRAX, een opensourcetool die veel adapters vanaf één basismodel serveert.
Hoe ze het aanpakten
Convirza koos voor een beheerd platform in plaats van zelf multi-adapter-serving te bouwen, omdat de belasting sterk wisselt en het engineeringwerk groot zou zijn geweest. In de eerste maand trainde en implementeerde het adapters voor 20+ indicatoren. Het platform schaalt de gpu's automatisch: Convirza kan in piekuren opschalen naar tientallen A100-chips en weer afschalen als het rustiger wordt.
Resultaten
Volgens Predibase haalde Convirza 10 keer lagere kosten dan met OpenAI, een gemiddelde F1-score die 8% hoger ligt dan die van OpenAI (F1 weegt gemiste gevallen af tegen valse alarmen) en een 80% hogere doorvoer. Ten opzichte van de eerdere Longformer-modellen is de doorvoer 4 keer hoger. De gemiddelde inferentietijd is minder dan een seconde, en Convirza's VP of AI zegt dat de gemiddelde responstijd over de 60 adapters onder de twee seconden blijft.
Wat u kunt overnemen
Als uw AI-functie veel op maat gemaakte varianten nodig heeft, test dan een ontwerp met één adapter per taak op een gedeeld basismodel voordat u voor elke functie rekenkracht betaalt.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Bedrijfskosten vergeleken met OpenAI | 10 keer lager1 | |
| Gemiddelde F1-score vergeleken met OpenAI, over de eerste 20+ indicatoren | 8% hoger1 | |
| Doorvoer vergeleken met OpenAI | 80% hoger1 | |
| Doorvoer vergeleken met de eerdere Longformer-modellen | 4 keer hoger1 | |
| Gemiddelde inferentietijd | Minder dan een seconde1 | |
| Eerdere kosten om één Longformer-indicator te draaien | $ 500 tot $ 1.500 per maand1 | |
| Eerdere trainingstijd per iteratie | 9 tot 24+ uur1 |
Lessen voor uw project
Reken de kosten van één model per functie door. Convirza's oude opzet vroeg voor elk van de 60 indicatoren eigen rekenkracht, waardoor de inferentiekosten opliepen tot honderdduizenden dollars per jaar.
Deel één basismodel over veel afgestemde varianten. Kleine add-on-adapters op één Llama-model lieten Convirza indicatoren toevoegen zonder een eigen server per indicator.
Koop de serving-laag in als u niet over het team beschikt om haar te beheren. Convirza koos voor een beheerd platform in plaats van een eigen multi-adapterinfrastructuur.
Plan piekbelasting in. In de piekuren van de gespreksverwerking moet Convirza opschalen naar tientallen A100-gpu's.
Kanttekeningen
- De bron is een casestudy van leverancier Predibase met citaten van Convirza's VP of AI. Geen enkele onafhankelijke bron bevestigt de cijfers.
- De post meldt een gemiddelde inferentietijd van minder dan een seconde, terwijl een citaat van Convirza in dezelfde post spreekt van een gemiddelde responstijd van minder dan twee seconden.
- De post noemt niet met welk OpenAI-model is vergeleken, en ook niet welke testdataset is gebruikt.
- De post geeft de datum van livegang niet. De getoonde uitroldatum is de datum van de post.
- De post vermeldt niet waar Convirza actief is. De getoonde regio is een aanname en komt niet uit de bron.
Bronnen
- Improving Agent Feedback with Multi-LoRA at Convirza
Predibase · 2024-11-25 · Casestudy van leverancier · predibase.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.