Faire passt Llama 3 8B für die Bewertung der Suchrelevanz an und schlägt sein angepasstes GPT-Modell

Das Problem

Faire ist ein Online-Marktplatz für den Großhandel. Händler suchen dort Produkte für ihre Läden. Wenn Ergebnisse nicht zur Anfrage passen, verlieren Käufer das Vertrauen in die Plattform. Faire musste messen, wie relevant seine Suchergebnisse waren. Anfangs bezahlte es einen externen Dienstleister, der jeden Monat eine Stichprobe von Suchergebnissen von Hand labelte. Das war teuer, und die Labels kamen einen Monat zu spät.

Was sie gebaut haben

Faire baute ein Modell, das eine Suchanfrage und einen Produkteintrag liest und die Übereinstimmung auf einer vierstufigen Skala bewertet: exakt, Ersatz, Ergänzung oder irrelevant. Eine erste Version nutzte ein feinabgestimmtes GPT-Modell. Fine-Tuning heißt, ein bestehendes Modell mit eigenen gelabelten Beispielen weiter zu trainieren. Diese Version ermöglichte die tägliche Messung, wurde aber durch die nutzungsabhängigen Gebühren der API begrenzt.

Danach stimmte Faire offene Llama-Modelle von Meta fein ab. Open-Weight heißt, die Modelldateien sind veröffentlicht, sodass ein Unternehmen sie auf eigener Hardware betreiben kann. Das beste Ergebnis lieferte Llama3-8b.

Wie sie vorgegangen sind

Das Team schrieb zuerst Labeling-Regeln und erreichte mehr als 90 % Übereinstimmung unter menschlichen Labelern. Es trainierte Llama2-7b, Llama2-13b und Llama3-8b mit drei Größen gelabelter Daten und verglich sie an rund 5.000 zurückgehaltenen Datensätzen mit dem GPT-Modell. Das Training lief auf 8 A100-GPUs mit LoRA, einer Methode, die nur einen kleinen Teil der Einstellungen eines Modells aktualisiert, hier etwa 4 %. Dafür wurden GPUs genutzt, die das Unternehmen bereits für andere Deep-Learning-Arbeiten besaß.

Für den täglichen Einsatz läuft das Modell auf dem eigenen GPU-Cluster von Faire. Das Team komprimierte es auf 8-Bit-Zahlen, ließ Batches auf einzelnen A100-Karten laufen und fügte bei Bedarf weitere Maschinen hinzu.

Ergebnisse

Faire meldet 28 % mehr Übereinstimmung mit menschlichen Labels gegenüber seinem GPT-Modell in der Produktion. Je größer der gelabelte Datensatz, desto besser die Ergebnisse, und der Abstand zwischen den Basismodellen schrumpfte mit wachsender Datenmenge. Als Faire Labels für vergangene Suchen nachträglich ergänzte, erreichte der Cluster 70 Millionen Vorhersagen pro Tag mit 16 GPUs. Faire sagt, so könne es die Suchrelevanz täglich messen sowie Personalisierung und Experimente analysieren.

Was Sie übernehmen können

Definieren Sie Qualität so, dass sich Menschen darauf einigen, bauen Sie gelabelte Daten auf und testen Sie dann kleine offene Modelle gegen das bezahlte Modell, das Sie heute nutzen.