Faire dostraja Llama 3 8B do oceny trafności wyszukiwania i wygrywa ze swoim dostrojonym modelem GPT

Problem

Faire to internetowa hurtowa platforma handlowa. Detaliści szukają na niej produktów do swoich sklepów. Gdy wyniki nie pasują do zapytania, kupujący tracą zaufanie do platformy. Faire musiał mierzyć, jak trafne są jego wyniki wyszukiwania. Z początku płacił zewnętrznemu dostawcy za ręczne etykietowanie co miesiąc próbki wyników. Było to kosztowne, a etykiety przychodziły z miesięcznym opóźnieniem.

Co zbudowano

Faire zbudował model, który czyta zapytanie i opis produktu oraz ocenia dopasowanie w czterostopniowej skali: dokładne, zamiennik, uzupełnienie lub nietrafne. Pierwsza wersja używała dostrojonego modelu GPT. Dostrajanie (fine-tuning) oznacza dalsze trenowanie istniejącego modelu na własnych oznaczonych przykładach. Ta wersja umożliwiła codzienny pomiar, ale ograniczały ją opłaty API za każde użycie.

Następnie Faire dostroił modele Llama z otwartymi wagami od Meta. Otwarte wagi oznaczają, że pliki modelu są opublikowane, więc firma może uruchamiać je na własnym sprzęcie. Najlepszy wynik dał Llama3-8b.

Jak to zrobiono

Zespół najpierw spisał reguły etykietowania i osiągnął ponad 90 % zgodności między osobami etykietującymi. Wytrenował Llama2-7b, Llama2-13b i Llama3-8b na trzech wielkościach oznaczonych danych i porównał je z modelem GPT na około 5 000 wydzielonych rekordów. Trenował na 8 GPU A100 z użyciem LoRA, metody aktualizującej tylko niewielką część ustawień modelu, tu około 4 %. Trening wykorzystał GPU, które firma już miała do innych prac z głębokim uczeniem.

Na co dzień model działa na własnym klastrze GPU Faire. Zespół skompresował go do liczb 8-bitowych, uruchamiał partie na pojedynczych kartach A100 i w razie potrzeby dodawał maszyny.

Wyniki

Faire podaje wzrost zgodności z etykietami nadanymi przez ludzi o 28 % względem swojego modelu GPT w produkcji. Im większy oznaczony zbiór danych, tym lepsze wyniki, a różnica między modelami bazowymi malała wraz ze wzrostem danych. Gdy Faire uzupełniał etykiety dla dawnych wyszukiwań, klaster osiągnął 70 milionów predykcji dziennie na 16 GPU. Faire mówi, że dzięki temu może codziennie mierzyć trafność wyszukiwania oraz analizować personalizację i eksperymenty.

Co warto powtórzyć

Zdefiniujcie jakość w kategoriach, co do których ludzie się zgadzają, zbudujcie oznaczone dane, a potem przetestujcie małe otwarte modele względem płatnego modelu, z którego korzystacie dziś.