Faire stemt Llama 3 8B af op het scoren van zoekrelevantie en verslaat zijn afgestemde GPT-model

Het probleem

Faire is een online groothandelsmarktplaats. Retailers zoeken er producten voor hun winkels. Wanneer resultaten niet bij de zoekopdracht passen, verliezen kopers het vertrouwen in het platform. Faire moest meten hoe relevant zijn zoekresultaten waren. In het begin betaalde het een externe leverancier om elke maand een steekproef van zoekresultaten met de hand te labelen. Dat was duur en de labels kwamen een maand te laat.

Wat ze bouwden

Faire bouwde een model dat een zoekopdracht en een productvermelding leest en de match beoordeelt op een schaal met vier stappen: exact, vervanger, aanvulling of irrelevant. Een eerste versie gebruikte een afgestemd GPT-model. Afstemmen (fine-tuning) betekent een bestaand model verder trainen op uw eigen gelabelde voorbeelden. Die versie maakte dagelijkse meting mogelijk, maar werd beperkt door de kosten per gebruik van de API.

Daarna stemde Faire open-weight Llama-modellen van Meta af. Open-weight betekent dat de modelbestanden openbaar zijn, zodat een bedrijf ze op eigen hardware kan draaien. Het beste resultaat kwam van Llama3-8b.

Hoe ze het aanpakten

Het team schreef eerst labelregels op en bereikte meer dan 90% overeenstemming tussen menselijke labelaars. Het trainde Llama2-7b, Llama2-13b en Llama3-8b op drie groottes gelabelde data en vergeleek ze met het GPT-model op ongeveer 5.000 achtergehouden records. Het trainde op 8 A100-GPU's met LoRA, een methode die slechts een klein deel van de instellingen van een model bijwerkt, hier ongeveer 4%. De training gebruikte GPU's die het bedrijf al had voor ander deep-learningwerk.

Voor dagelijks gebruik draait het model op Faires eigen GPU-cluster. Het team comprimeerde het tot 8-bits getallen, draaide batches op afzonderlijke A100-kaarten en voegde zo nodig machines toe.

Resultaten

Faire meldt een winst van 28% in overeenstemming met menselijke labels ten opzichte van zijn GPT-model in productie. Hoe groter de gelabelde dataset, hoe beter de resultaten, en het verschil tussen basismodellen kromp naarmate de data groeiden. Toen Faire labels voor eerdere zoekopdrachten aanvulde, haalde het cluster 70 miljoen voorspellingen per dag met 16 GPU's. Faire zegt dat het zo dagelijks de zoekrelevantie kan meten en personalisatie en experimenten kan analyseren.

Wat u kunt overnemen

Definieer kwaliteit in termen waarover mensen het eens zijn, bouw gelabelde data op en test daarna kleine open modellen tegen het betaalde model dat u nu gebruikt.