Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Checkr
Checkr affina Llama 3 per smistare i suoi record di verifica più difficili e batte GPT-4 nei propri test
Checkr, un'azienda di verifiche dei precedenti, ha affinato Llama-3-8B-Instruct, il modello a pesi aperti di Meta, per classificare il 2% più difficile dei suoi record. Il suo ingegnere riporta il 90% di accuratezza su quei casi, risposte 30 volte più rapide rispetto ai suoi test con GPT-4 e costi di inferenza 5 volte inferiori a quelli di GPT-4.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
90%
Accuratezza di Llama-3-8B-Instruct affinato sul 2% di casi più difficili1
0,15
secondi, che Checkr definisce 30 volte più veloce dei suoi esperimenti con GPT-4
Tempo di risposta sul traffico di produzione1
Riduzione di 5 volte
Costo di inferenza rispetto a GPT-41
Cosa è servito
Le fonti non rendono noti costi, dimensioni del team e tempi.
Il problema
Checkr fornisce verifiche dei precedenti a più di 100.000 clienti e ne gestisce milioni ogni mese. Dopo una verifica, il datore di lavoro deve decidere se il candidato è adatto al ruolo, una fase chiamata adjudication (valutazione). Checkr offre una valutazione automatizzata. Per il 98% dei record funziona bene un modello statistico ottimizzato. Il restante 2% è fatto di record di testo disordinati da smistare in 230 categorie. La precedente rete neurale di Checkr classificava con un'accuratezza discreta solo l'1% di tutti i record, lasciando l'altro 1% non classificato e creando più lavoro per i clienti.
Cosa hanno costruito
Checkr ha costruito un classificatore su Llama-3-8B-Instruct, un modello a pesi aperti di Meta. Pesi aperti significa che i file del modello sono pubblici, quindi un'azienda può adattarlo ed eseguirlo. Il team ha usato il fine-tuning, cioè l'ulteriore addestramento di un modello sugli esempi etichettati dell'azienda. Ha addestrato un piccolo modello su 150.000 righe di dati di Checkr.
Come ci sono riusciti
L'ingegnere di machine learning di Checkr ha confrontato diversi approcci sugli stessi dati. GPT-4, con istruzioni e le 230 categorie, ha ottenuto l'87-88% sul 98% dei casi più facili e l'80-82% sul 2% più difficile. Aggiungere il recupero di esempi ha migliorato l'accuratezza sull'insieme facile ma non su quello difficile. Un Llama-2-7b affinato ha fatto meglio di GPT-4 su entrambi. Il risultato migliore è arrivato dall'affinamento di Llama-3-8B-Instruct.
Il team ha provato diverse piattaforme di affinamento e di erogazione e ha scelto Predibase. Questa usa LoRAX, uno strumento open source che serve molti piccoli moduli affinati (adattatori LoRA) su un unico modello di base, così i nuovi usi non richiedono altre GPU.
Risultati
L'ingegnere riporta il 90% di accuratezza sul 2% di casi più difficili, meglio di GPT-4 e di tutti gli altri esperimenti di affinamento. In produzione le risposte richiedono 0,15 secondi, 30 volte più veloci rispetto agli esperimenti con GPT-4. I costi di inferenza sono scesi di 5 volte rispetto a GPT-4. Il compito è sincrono e ha limiti di velocità rigidi, perché i clienti si aspettano risultati quasi in tempo reale.
Cosa replicare
Restringete prima il problema, poi confrontate un piccolo modello affinato con uno generalista sui vostri dati prima di scegliere.
Tutti i dati dichiarati
| Indicatore | Dato | Citazione |
|---|---|---|
| Accuratezza di Llama-3-8B-Instruct affinato sul 2% di casi più difficili | 90%1 | |
| Accuratezza di GPT-4 sul 2% di casi più difficili nell'esperimento di Checkr | 80-82%1 | |
| Tempo di risposta sul traffico di produzione | 0,15 secondi, che Checkr definisce 30 volte più veloce dei suoi esperimenti con GPT-41 | |
| Costo di inferenza rispetto a GPT-4 | Riduzione di 5 volte1 | |
| Quota di tutti i record che la precedente rete neurale classificava con un'accuratezza discreta, sul 2% difficile | 1% (l'altro 1% restava non classificato)1 |
Lezioni per il vostro progetto
Mandate al modello linguistico solo i casi difficili. Checkr gestisce il 98% dei record con un semplice modello statistico e usa il modello linguistico per il restante 2%.
Mettete alla prova un piccolo modello affinato contro il grande modello generalista sui vostri dati. Nel test di Checkr, il piccolo modello affinato ha battuto GPT-4 sui casi difficili.
Mantenete i prompt brevi una volta affinato il modello. Checkr ha rilevato che le modifiche ai prompt avevano un impatto minimo sull'accuratezza, quindi prompt più brevi riducono i costi in token.
Scegliete un'infrastruttura in grado di ospitare più varianti affinate su un unico modello. Checkr prevede di aggiungere altri usi senza altre GPU.
Avvertenze
- La fonte è un post sul sito di Predibase, il fornitore usato da Checkr, scritto da un ingegnere di Checkr. Nessuna fonte indipendente conferma le cifre.
- La pagina originale ora rimanda a un altro sito e bloccava l'accesso automatico, quindi questo resoconto è stato scritto a partire da una copia archiviata del post originale.
- Il post non indica la data di messa in produzione, quindi la data di rilascio mostrata è la data del post.
- Il post non dice dove opera Checkr. La regione mostrata si basa sul fatto che Checkr è un'azienda statunitense, non sulla fonte.
- La tabella del post riporta in dollari i costi di GPT-4 e di Llama affinato senza indicare periodo o unità, quindi qui non si usano cifre in dollari.
Fonti
- Fine-Tuned SLMs Help Checkr Optimize Background Checks
Predibase · 2024-10-03 · Caso di studio del fornitore · predibase.com
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.