Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Checkr
Checkr dostraja Llama 3 do sortowania najtrudniejszych rekordów weryfikacji i w swoich testach pokonuje GPT-4
Checkr, firma weryfikująca przeszłość kandydatów, dostroiła Llama-3-8B-Instruct, otwarty model (open-weight) firmy Meta, do klasyfikowania najtrudniejszych 2 % swoich rekordów. Inżynier Checkr podaje 90 % dokładności w tych przypadkach, odpowiedzi 30 razy szybsze niż w testach z GPT-4 i koszty wnioskowania 5 razy niższe niż w GPT-4.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
90 %
Dokładność dostrojonego Llama-3-8B-Instruct na najtrudniejszych 2 % przypadków1
0,15
sekundy, co Checkr określa jako 30 razy szybciej niż w eksperymentach z GPT-4
Czas odpowiedzi przy ruchu produkcyjnym1
Obniżka 5-krotna
Koszt wnioskowania w porównaniu z GPT-41
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Checkr dostarcza weryfikacje przeszłości kandydatów ponad 100 000 klientów i wykonuje ich miliony miesięcznie. Po weryfikacji pracodawca musi zdecydować, czy kandydat pasuje do stanowiska; ten etap nazywa się adjudykacją. Checkr oferuje automatyczną adjudykację. Dla 98 % rekordów dobrze działa dostrojony model statystyczny. Pozostałe 2 % to nieuporządkowane rekordy tekstowe, które trzeba przypisać do 230 kategorii. Wcześniejsza sieć neuronowa Checkr klasyfikowała z przyzwoitą dokładnością tylko 1 % wszystkich rekordów, zostawiając drugie 1 % niesklasyfikowane i tworząc klientom dodatkową pracę.
Co zbudowano
Checkr zbudował klasyfikator na Llama-3-8B-Instruct, otwartym modelu (open-weight) firmy Meta. Open-weight oznacza, że pliki modelu są opublikowane, więc firma może go dostosować i uruchamiać. Zespół zastosował dostrajanie (fine-tuning), czyli dalsze trenowanie modelu na oznaczonych przykładach firmy. Wytrenował mały model na 150 000 wierszy danych Checkr.
Jak to zrobiono
Inżynier uczenia maszynowego w Checkr porównał kilka podejść na tych samych danych. GPT-4, któremu podano instrukcje i 230 kategorii, uzyskał 87-88 % na łatwiejszych 98 % przypadków i 80-82 % na najtrudniejszych 2 %. Dodanie wyszukiwania przykładów poprawiło dokładność na zbiorze łatwym, ale nie na trudnym. Dostrojony Llama-2-7b wypadł lepiej niż GPT-4 w obu zbiorach. Najlepszy wynik dało dostrojenie Llama-3-8B-Instruct.
Zespół przetestował kilka platform do dostrajania i udostępniania modeli i wybrał Predibase. Korzysta ona z LoRAX, otwartego narzędzia, które obsługuje wiele małych dostrojonych dodatków (adapterów LoRA) na jednym modelu bazowym, więc nowe zastosowania nie wymagają kolejnych GPU.
Wyniki
Inżynier podaje 90 % dokładności na najtrudniejszych 2 % przypadków, więcej niż GPT-4 i wszystkie pozostałe eksperymenty z dostrajaniem. W produkcji odpowiedzi trwają 0,15 sekundy, czyli 30 razy szybciej niż w eksperymentach z GPT-4. Koszty wnioskowania spadły 5-krotnie w porównaniu z GPT-4. Zadanie jest synchroniczne i ma rygorystyczne limity czasu, bo klienci oczekują wyników niemal w czasie rzeczywistym.
Co warto powtórzyć
Najpierw zawęźcie problem, a potem porównajcie mały dostrojony model z modelem ogólnym na własnych danych, zanim wybierzecie rozwiązanie.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Dokładność dostrojonego Llama-3-8B-Instruct na najtrudniejszych 2 % przypadków | 90 %1 | |
| Dokładność GPT-4 na najtrudniejszych 2 % przypadków w eksperymencie Checkr | 80-82 %1 | |
| Czas odpowiedzi przy ruchu produkcyjnym | 0,15 sekundy, co Checkr określa jako 30 razy szybciej niż w eksperymentach z GPT-41 | |
| Koszt wnioskowania w porównaniu z GPT-4 | Obniżka 5-krotna1 | |
| Udział wszystkich rekordów, które wcześniejsza sieć neuronowa klasyfikowała z przyzwoitą dokładnością, z trudnych 2 % | 1 % (drugie 1 % pozostawało niesklasyfikowane)1 |
Wnioski dla Twojego projektu
Kierujcie do modelu językowego tylko trudne przypadki. Checkr obsługuje 98 % rekordów prostym modelem statystycznym, a model językowy stosuje do pozostałych 2 %.
Porównajcie mały dostrojony model z dużym modelem ogólnym na własnych danych. W teście Checkr mały dostrojony model pokonał GPT-4 w trudnych przypadkach.
Gdy model jest już dostrojony, utrzymujcie krótkie prompty. Checkr stwierdził, że zmiany promptów miały minimalny wpływ na dokładność, więc krótsze prompty obniżają koszt tokenów.
Wybierzcie środowisko, które pomieści kilka dostrojonych wariantów na jednym modelu. Checkr planuje dodawać kolejne zastosowania bez dodatkowych GPU.
Zastrzeżenia
- Źródłem jest wpis na blogu na stronie Predibase, dostawcy używanego przez Checkr, napisany przez inżyniera Checkr. Żadne niezależne źródło nie potwierdza tych liczb.
- Oryginalna strona przekierowuje teraz na inną witrynę i blokowała automatyczny dostęp, dlatego ten opis powstał na podstawie zarchiwizowanej kopii oryginalnego wpisu.
- Wpis nie podaje daty uruchomienia, więc pokazana data wdrożenia to data wpisu.
- Wpis nie podaje, gdzie działa Checkr. Pokazany region wynika z tego, że Checkr to firma amerykańska, a nie ze źródła.
- Tabela we wpisie pokazuje koszty GPT-4 i dostrojonego Llama w dolarach bez podania okresu ani jednostek, dlatego nie używamy tu kwot w dolarach.
Źródła
- Fine-Tuned SLMs Help Checkr Optimize Background Checks
Predibase · 2024-10-03 · Studium przypadku dostawcy · predibase.com
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.