Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Checkr
Checkr stemt Llama 3 af op zijn moeilijkste achtergrondcontrole-dossiers en verslaat GPT-4 in eigen tests
Checkr, een bedrijf voor achtergrondcontroles, stemde Llama-3-8B-Instruct van Meta, een open-weight model, af om de moeilijkste 2% van zijn dossiers te classificeren. De engineer van Checkr meldt 90% nauwkeurigheid op die gevallen, antwoorden die 30 keer zo snel zijn als in zijn GPT-4-tests en inferentiekosten die 5 keer zo laag liggen als bij GPT-4.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
90%
Nauwkeurigheid van het afgestemde Llama-3-8B-Instruct op de moeilijkste 2% van de gevallen1
0,15
seconden, wat Checkr 30 keer zo snel noemt als zijn GPT-4-experimenten
Responstijd op productieverkeer1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Checkr levert achtergrondcontroles aan meer dan 100.000 klanten en voert er elke maand miljoenen uit. Na een controle moet een werkgever beslissen of de kandidaat bij de functie past, een stap die adjudicatie heet. Checkr biedt geautomatiseerde adjudicatie aan. Voor 98% van de dossiers werkt een afgesteld statistisch model goed. De overige 2% zijn rommelige tekstdossiers die in 230 categorieën moeten worden ingedeeld. Het oudere neurale netwerk van Checkr classificeerde slechts 1% van alle dossiers met redelijke nauwkeurigheid, waardoor de andere 1% ongeclassificeerd bleef en klanten extra werk kregen.
Wat ze bouwden
Checkr bouwde een classificator op basis van Llama-3-8B-Instruct, een open-weight model van Meta. Open-weight betekent dat de bestanden van het model openbaar zijn, zodat een bedrijf het kan aanpassen en zelf kan draaien. Het team gebruikte fine-tuning: een model verder trainen op de eigen gelabelde voorbeelden van een bedrijf. Het trainde een klein model op 150.000 rijen Checkr-data.
Hoe ze het aanpakten
De machine-learningengineer van Checkr vergeleek meerdere aanpakken op dezelfde data. GPT-4, voorzien van instructies en de 230 categorieën, scoorde 87-88% op de 98% makkelijkere gevallen en 80-82% op de moeilijkste 2%. Het erbij ophalen van voorbeelden verbeterde de nauwkeurigheid op de makkelijke set, maar niet op de moeilijke. Een afgestemd Llama-2-7b deed het op beide beter dan GPT-4. Het beste resultaat kwam van het afstemmen van Llama-3-8B-Instruct.
Het team testte verschillende platforms voor afstemmen en draaien en koos Predibase. Dat gebruikt LoRAX, een opensourcetool die veel kleine afgestemde add-ons (LoRA-adapters) op één basismodel aanbiedt, zodat nieuwe toepassingen geen extra GPU's nodig hebben.
Resultaten
De engineer meldt 90% nauwkeurigheid op de moeilijkste 2% van de gevallen, beter dan GPT-4 en alle andere fine-tuningexperimenten. In productie duren antwoorden 0,15 seconden, 30 keer zo snel als in de GPT-4-experimenten. De inferentiekosten waren 5 keer zo laag als bij GPT-4. De synchrone taak kent strikte snelheidseisen, omdat klanten bijna realtime resultaten verwachten.
Wat u kunt overnemen
Maak het probleem eerst smaller en vergelijk dan een klein afgestemd model met een algemeen model op uw eigen data voordat u kiest.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Nauwkeurigheid van het afgestemde Llama-3-8B-Instruct op de moeilijkste 2% van de gevallen | 90%1 | |
| Nauwkeurigheid van GPT-4 op de moeilijkste 2% van de gevallen in het experiment van Checkr | 80-82%1 | |
| Responstijd op productieverkeer | 0,15 seconden, wat Checkr 30 keer zo snel noemt als zijn GPT-4-experimenten1 | |
| Inferentiekosten vergeleken met GPT-4 | 5 keer zo laag1 | |
| Aandeel van alle dossiers dat het eerdere neurale netwerk met redelijke nauwkeurigheid classificeerde, uit de moeilijke 2% | 1% (de andere 1% bleef ongeclassificeerd)1 |
Lessen voor uw project
Stuur alleen de moeilijke gevallen naar het taalmodel. Checkr verwerkt 98% van de dossiers met een eenvoudig statistisch model en gebruikt het taalmodel voor de resterende 2%.
Test een klein afgestemd model op uw eigen data tegen het grote algemene model. In de test van Checkr versloeg het kleine afgestemde model GPT-4 op de moeilijke gevallen.
Houd prompts kort zodra een model is afgestemd. Checkr zag dat promptwijzigingen nauwelijks invloed hadden op de nauwkeurigheid, dus kortere prompts verlagen de tokenkosten.
Kies een opzet die meerdere afgestemde varianten op één model kan draaien. Checkr wil meer toepassingen toevoegen zonder extra GPU's.
Kanttekeningen
- De bron is een blogpost op de website van Predibase, de leverancier die Checkr gebruikt, geschreven door een engineer van Checkr. Geen enkele onafhankelijke bron bevestigt de cijfers.
- De oorspronkelijke pagina verwijst nu door naar een andere site en blokkeerde geautomatiseerde toegang; dit verslag is daarom geschreven op basis van een gearchiveerde kopie van de oorspronkelijke post.
- De post noemt geen livegangdatum; de getoonde datum van ingebruikname is daarom de datum van de post.
- De post vermeldt niet waar Checkr actief is. De getoonde regio is gebaseerd op het feit dat Checkr een Amerikaans bedrijf is, niet op de bron.
- De tabel in de post toont de kosten van GPT-4 en het afgestemde Llama in dollars zonder periode of eenheden te noemen, dus hier worden geen dollarbedragen gebruikt.
Bronnen
- Fine-Tuned SLMs Help Checkr Optimize Background Checks
Predibase · 2024-10-03 · Casestudy van leverancier · predibase.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.