Dream11 używa dostrojonego modelu Llama 3 do dopasowywania imion i nazwisk w weryfikacji tożsamości

Problem

Dream11 to platforma fantasy sports z ponad 250 milionami użytkowników. Zanim użytkownik będzie mógł grać, firma sprawdza dokumenty tożsamości, a to oznacza rozstrzyganie, czy imiona i nazwiska w różnych rekordach należą do jednej osoby. W Indiach ta sama osoba może figurować jako „Shubham Kumar Singh” na jednym dokumencie i „ShubhamKumarSingh” na zeskanowanym rachunku. Imiona i nazwiska zapisywane są w kilku alfabetach, różnie literowane i wpisywane z literówkami. Wcześniejsze dopasowywanie oparte na regułach wysyłało przypadki niejednoznaczne do zewnętrznego dostawcy w celu ręcznej weryfikacji.

Oba rodzaje błędów kosztują. Pominięte dopasowanie uniemożliwia prawdziwemu użytkownikowi dokończenie weryfikacji. Fałszywe dopasowanie może pozwolić oszustowi prowadzić kilka kont.

Co zbudowano

Autorzy z Dream Sports wytrenowali wersję modelu Llama 3 8B o otwartych wagach firmy Meta tak, aby odpowiadała na jedno pytanie: czy te dwa imiona i nazwiska dotyczą tej samej osoby? Model odpowiada „Yes” lub „No”. Firma nazywa tę metodę Structure-Guided Entity Resolution.

Model działa w ramach potoku weryfikacji tożsamości Dream11. Według autorów podejmuje w pełni zautomatyzowane decyzje o dopasowaniu i jego braku, więc kolejka ręcznej weryfikacji tych przypadków przestała istnieć.

Jak to zrobiono

Trening miał dwa etapy. Najpierw model uczył się dzielić pełne imię i nazwisko na imię, drugie imię i nazwisko, na podstawie około 10 000 ręcznie oznaczonych indyjskich imion i nazwisk. Następnie uczył się decyzji o dopasowaniu na oznaczonych parach imion i nazwisk. Zespół zaczął od 20 000 oznaczonych par z dawnych operacji i powiększył je do ponad 50 000, zamieniając kolejność w parach, mieszając części imion i nazwisk i usuwając spacje.

Zbiór testowy był oddzielny: 50 000 rzeczywistych par z historycznych danych produkcyjnych, oznaczonych przez wewnętrzny zespół operacji ryzyka. Trening odbył się na jednym GPU NVIDIA A100. W produkcji model działa na trzech GPU NVIDIA L4 z oprogramowaniem do serwowania vLLM na Kubernetes.

Wyniki

W produkcji, jak twierdzą autorzy, rezygnacja z ręcznych kontroli dostawcy oszczędza ponad 500 000 dolarów rocznie, a system obsługuje do 10 000 żądań na minutę przy opóźnieniu P99 wynoszącym 120 milisekund, co ma znaczenie podczas dużych wydarzeń sportowych, gdy liczba rejestracji gwałtownie rośnie.

Offline, na oddzielnym zbiorze testowym par historycznych, model osiągnął dokładność 99,02 % i F1 równe 0,994. Autorzy porównują go z innymi podejściami na tych samych danych: GPT-4o z przykładami w prompcie uzyskał dokładność 85,4 %, a ten sam model Llama wytrenowany w jednym kroku z dodatkowymi danymi 95,7 %.

Co poszło nie tak

Autorzy wskazują dwa pozostałe słabe punkty. Imiona i nazwiska brzmiące podobnie, ale inaczej pisane, jak „Saurabh” i „Sorab”, bywają oceniane jako niezgodne. Trudne są też imiona i nazwiska z kilkoma problemami naraz, takimi jak brakujące spacje, zamieniona kolejność i błędy skanowania. Według artykułu rzadkie pominięte dopasowania (poniżej 1 % użytkowników) są rozwiązywane przez obsługę klienta.

Co warto powtórzyć

Warto zacząć od zadania z jasną odpowiedzią tak lub nie i historią oznaczonych decyzji. Warto zmierzyć model na zbiorze testowym zbudowanym z własnych dawnych przypadków i porównać go z modelem ogólnym na tym samym zbiorze. Warto zachować ludzką ścieżkę awaryjną dla niewielkiego odsetka błędów.