Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Faire
Faire affina Llama 3 8B per valutare la pertinenza della ricerca e batte il suo modello GPT affinato
Faire, un marketplace all'ingrosso, ha affinato Llama3-8b, il modello open-weight di Meta, per giudicare se i risultati di ricerca corrispondono a ciò che digitano i rivenditori. Faire riferisce un miglioramento del 28% rispetto al suo precedente modello GPT affinato, e il modello, ospitato sulle sue GPU, ha raggiunto 70 milioni di previsioni al giorno quando Faire ha recuperato le etichette su larga scala.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
28%
Miglioramento dell'alfa di Krippendorff (concordanza con gli etichettatori umani) del miglior Llama3-8b affinato rispetto al modello GPT affinato esistente di Faire, in termini relativi1
70 milioni
con 16 GPU
Previsioni di pertinenza al giorno raggiunte nel recupero delle etichette su larga scala su un cluster di GPU gestito internamente1
0,56
Alfa di Krippendorff del precedente modello GPT affinato quando è andato in produzione1
~300
mila
Coppie query-prodotto che la precedente etichettatura basata su GPT riusciva a etichettare all'ora1
Cosa è servito
Il problema
Faire è un marketplace online all'ingrosso. I rivenditori vi cercano prodotti per i loro negozi. Quando i risultati non corrispondono alla query, gli acquirenti perdono fiducia nella piattaforma. Faire doveva misurare quanto fossero pertinenti i suoi risultati di ricerca. All'inizio pagava un fornitore esterno per etichettare a mano ogni mese un campione di risultati. Era costoso e le etichette arrivavano con un mese di ritardo.
Cosa hanno costruito
Faire ha costruito un modello che legge una query di ricerca e la scheda di un prodotto e valuta la corrispondenza su una scala a quattro gradi: esatta, sostituto, complemento o irrilevante. Una prima versione usava un modello GPT affinato. Affinare (fine-tuning) significa addestrare ulteriormente un modello esistente sui propri esempi etichettati. Quella versione rendeva possibile la misurazione giornaliera, ma era limitata dalle tariffe a consumo dell'API.
Faire ha poi affinato modelli Llama open-weight di Meta. Open-weight significa che i file del modello sono pubblicati, così un'azienda può eseguirli sul proprio hardware. Il risultato migliore è venuto da Llama3-8b.
Come ci sono riusciti
Il team ha prima scritto le regole di etichettatura e ottenuto oltre il 90% di concordanza tra gli etichettatori umani. Ha addestrato Llama2-7b, Llama2-13b e Llama3-8b su tre dimensioni di dati etichettati e li ha confrontati con il modello GPT su circa 5.000 record tenuti da parte. Ha addestrato su 8 GPU A100 usando LoRA, un metodo che aggiorna solo una piccola parte dei parametri di un modello, qui circa il 4%. L'addestramento ha usato GPU che l'azienda già possedeva per altri lavori di deep learning.
Per l'uso quotidiano, il modello gira sul cluster di GPU di Faire. Il team lo ha compresso in numeri a 8 bit, ha eseguito batch su singole schede A100 e ha aggiunto macchine secondo necessità.
Risultati
Faire riferisce un miglioramento del 28% nella concordanza con le etichette umane rispetto al suo modello GPT in produzione. Più grande è il dataset etichettato, migliori sono i risultati, e il divario tra i modelli di base si è ridotto al crescere dei dati. Quando Faire ha recuperato le etichette delle ricerche passate, il cluster ha raggiunto 70 milioni di previsioni al giorno con 16 GPU. Faire dice che questo le permette di misurare ogni giorno la pertinenza della ricerca e di analizzare personalizzazione ed esperimenti.
Cosa replicare
Definire la qualità in termini su cui le persone concordano, costruire dati etichettati e poi mettere alla prova piccoli modelli aperti contro il modello a pagamento usato oggi.
Lezioni per il vostro progetto
Scrivere una definizione chiara di cosa significa buono prima di usare un modello. Faire ha adottato una scala di pertinenza a quattro livelli e affinato le regole di etichettatura finché gli etichettatori umani concordavano oltre il 90% delle volte.
Investire prima in esempi etichettati. Faire ha constatato che volume, qualità e mix dei dati etichettati contavano più della scelta del modello di base.
Confrontare un piccolo modello aperto con l'API a pagamento già in uso. I test di Faire hanno mostrato che un modello affinato da 8 miliardi di parametri poteva battere il suo modello GPT affinato con un costo di esercizio inferiore.
Partire da un uso interno. Faire ha usato il modello per misurare la qualità della ricerca offline prima di prendere in considerazione qualsiasi modifica a ciò che vedono gli acquirenti.
Avvertenze
- Faire riporta tutte le cifre nel proprio blog di ingegneria. Nessuna fonte indipendente le conferma.
- La pagina di Faire bloccava l'accesso automatico, quindi questo caso è stato scritto a partire da una copia archiviata del post.
- Il post non indica una data di avvio in produzione. La data di rilascio indicata è quella del post.
- Il modello è usato offline, per misurare quanto siano pertinenti i risultati di ricerca. Il post dice che l'uso in tempo reale è un passo futuro, quindi gli acquirenti non vedono ancora risultati modificati da esso.
- Faire dice di aver ridotto i costi rispetto ai fornitori esterni di LLM, ma non fornisce cifre in dollari e non nomina né il modello GPT né il fornitore.
- Faire precisa che i miglioramenti sono espressi in termini relativi, salvo diversa indicazione.
Fonti
- Fine-tuning Llama3 to measure semantic relevance in search
The Craft (Faire engineering blog) · 2024-04-29 · Blog aziendale · craft.faire.com
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.