Dream11 nutzt ein feinabgestimmtes Llama-3-Modell, um Namen bei Identitätsprüfungen abzugleichen

Das Problem

Dream11 ist eine Fantasy-Sport-Plattform mit mehr als 250 Millionen Nutzern. Bevor ein Nutzer spielen darf, prüft das Unternehmen Ausweisdokumente, und dazu muss es entscheiden, ob Namen auf verschiedenen Unterlagen zu einer Person gehören. In Indien kann dieselbe Person auf einem Dokument als „Shubham Kumar Singh“ und auf einer eingescannten Rechnung als „ShubhamKumarSingh“ erscheinen. Namen werden in mehreren Schriften geschrieben, unterschiedlich buchstabiert und mit Tippfehlern eingegeben. Die frühere regelbasierte Zuordnung schickte mehrdeutige Fälle zur manuellen Prüfung an einen externen Dienstleister.

Beide Fehlerarten kosten Geld. Eine verpasste Übereinstimmung hindert einen echten Nutzer daran, die Verifizierung abzuschließen. Eine falsche Übereinstimmung kann einem Betrüger ermöglichen, mehrere Konten zu betreiben.

Was sie gebaut haben

Die Autoren von Dream Sports trainierten eine Version von Metas Llama-3-8B-Modell mit offenen Gewichten darauf, eine einzige Frage zu beantworten: Beziehen sich diese beiden Namen auf dieselbe Person? Das Modell antwortet mit „Yes“ oder „No“. Das Unternehmen nennt die Methode Structure-Guided Entity Resolution.

Das Modell läuft in der Identitätsprüfungs-Pipeline von Dream11. Nach Angaben der Autoren trifft es vollautomatisch Entscheidungen über Treffer und Nicht-Treffer, sodass die Warteschlange für die manuelle Prüfung dieser Fälle entfällt.

Wie sie vorgegangen sind

Das Training hatte zwei Schritte. Zuerst lernte das Modell, einen Namen in Vor-, Mittel- und Nachnamen zu zerlegen, anhand von rund 10.000 manuell gelabelten indischen Namen. Danach lernte es die Zuordnungsentscheidung anhand gelabelter Namenspaare. Das Team startete mit 20.000 gelabelten Paaren aus früheren Vorgängen und erweiterte sie auf mehr als 50.000, indem es die Reihenfolge der Paare vertauschte, Namensteile mischte und Leerzeichen entfernte.

Der Testdatensatz war getrennt: 50.000 reale Paare aus historischen Produktionsdaten, gelabelt vom internen Risikobetrieb-Team. Das Training lief auf einer einzelnen NVIDIA-A100-GPU. In der Produktion läuft das Modell auf drei NVIDIA-L4-GPUs mit der Serving-Software vLLM auf Kubernetes.

Ergebnisse

Im Produktivbetrieb spart der Wegfall der manuellen Prüfungen des Dienstleisters nach Angaben der Autoren über 500.000 Dollar pro Jahr, und das System verarbeitet bis zu 10.000 Anfragen pro Minute bei einer P99-Latenz von 120 Millisekunden, was bei großen Sportereignissen wichtig ist, wenn die Anmeldungen sprunghaft steigen.

Offline erreichte das Modell auf einem separaten Testdatensatz historischer Paare eine Genauigkeit von 99,02 % und einen F1-Wert von 0,994. Die Autoren vergleichen es auf denselben Daten mit anderen Ansätzen: GPT-4o, mit Beispielen angeleitet, erreichte 85,4 % Genauigkeit, und dasselbe Llama-Modell, in einem Schritt mit zusätzlichen Daten trainiert, 95,7 %.

Was schiefgelaufen ist

Die Autoren nennen zwei verbleibende Schwachstellen. Namen, die ähnlich klingen, aber anders geschrieben werden, etwa „Saurabh“ und „Sorab“, werden manchmal als nicht übereinstimmend bewertet. Auch Namen mit mehreren Problemen zugleich, etwa fehlenden Leerzeichen, vertauschter Reihenfolge und Scanfehlern, sind schwierig. Laut Paper werden die seltenen verpassten Übereinstimmungen (unter 1 % der Nutzer) über den Kundenservice gelöst.

Was Sie übernehmen können

Beginnen Sie mit einer Aufgabe, die eine klare Ja-Nein-Antwort hat und für die es eine Historie gelabelter Entscheidungen gibt. Messen Sie das Modell an einem Testdatensatz aus Ihren eigenen früheren Fällen und vergleichen Sie es auf demselben Satz mit einem Allzweckmodell. Halten Sie für den kleinen Anteil an Fehlern eine menschliche Rückfalllösung bereit.