Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Dream11 (Dream Sports)
Dream11 gebruikt een afgestemd Llama 3-model om namen te vergelijken bij identiteitscontroles
Auteurs van Dream Sports melden dat Dream11 een afgestemd Llama 3 8B-model gebruikt om te beslissen of twee namen in identiteitsgegevens (KYC) overeenkomen, ter vervanging van de handmatige controles van een externe leverancier. Volgens hen bespaart dit meer dan 500.000 dollar per jaar; de P99-responstijd is 120 milliseconden. De offline nauwkeurigheid was 99,02%.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
meer dan 500.000 $
Jaarlijkse kostenbesparing doordat dubbelzinnige gevallen niet meer naar een externe leverancier gaan voor handmatige verificatie (eigen verklaring van de auteurs, zonder berekening)1
120
milliseconden
Responstijd van het live systeem op het 99e percentiel (P99), bij een piekbelasting van maximaal 10.000 verzoeken per minuut1
99,02%
Offline test: nauwkeurigheid bij het beslissen of twee namen overeenkomen, op een aparte set van 50.000 echte naamparen uit historische KYC-gegevens (geen meting van live beslissingen)1
0,994
Offline test: F1-score (een gecombineerde maat voor gemiste en onterechte overeenkomsten; 1,0 is perfect) op dezelfde set van 50.000 paren1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Dream11 is een fantasysportplatform met meer dan 250 miljoen gebruikers. Voordat een gebruiker mag spelen, controleert het bedrijf identiteitsdocumenten, en dat betekent beslissen of namen op verschillende gegevens bij één persoon horen. In India kan dezelfde persoon op het ene document als "Shubham Kumar Singh" voorkomen en op een gescande rekening als "ShubhamKumarSingh". Namen worden in meerdere schriften geschreven, op verschillende manieren gespeld en met typefouten ingevoerd. Eerdere regelgebaseerde vergelijking stuurde dubbelzinnige gevallen voor handmatige beoordeling naar een externe leverancier.
Beide soorten fouten kosten geld. Een gemiste overeenkomst belet een echte gebruiker de verificatie af te ronden. Een onterechte overeenkomst kan een fraudeur in staat stellen meerdere accounts te beheren.
Wat ze bouwden
De auteurs van Dream Sports trainden een versie van het open-weight Llama 3 8B-model van Meta om één vraag te beantwoorden: verwijzen deze twee namen naar dezelfde persoon? Het model antwoordt met "Yes" of "No". Het bedrijf noemt de methode Structure-Guided Entity Resolution.
Het model draait in de identiteitsverificatiepijplijn van Dream11. Volgens de auteurs neemt het volledig geautomatiseerde beslissingen over wel of geen overeenkomst, zodat de wachtrij voor handmatige beoordeling van deze gevallen is verdwenen.
Hoe ze het aanpakten
De training bestond uit twee stappen. Eerst leerde het model een naam op te splitsen in voornaam, tussennaam en achternaam, aan de hand van ongeveer 10.000 handmatig gelabelde Indiase namen. Daarna leerde het de vergelijkingsbeslissing van gelabelde naamparen. Het team begon met 20.000 gelabelde paren uit eerdere werkzaamheden en breidde die uit tot meer dan 50.000 door de volgorde van paren om te wisselen, naamdelen te husselen en spaties te verwijderen.
De testset was apart: 50.000 echte paren uit historische productiegegevens, gelabeld door het interne risk operations-team. De training liep op één NVIDIA A100-GPU. In productie draait het model op drie NVIDIA L4-GPU's met de serversoftware vLLM op Kubernetes.
Resultaten
In productie bespaart het wegnemen van de handmatige controles van de leverancier volgens de auteurs meer dan 500.000 dollar per jaar, en verwerkt het systeem tot 10.000 verzoeken per minuut met een P99-latentie van 120 milliseconden, wat telt bij grote sportevenementen wanneer het aantal aanmeldingen piekt.
Offline, op een aparte testset van historische paren, haalde het model een nauwkeurigheid van 99,02% en een F1 van 0,994. De auteurs vergelijken het op dezelfde gegevens met andere aanpakken: GPT-4o met voorbeelden in de prompt scoorde 85,4% nauwkeurigheid, en hetzelfde Llama-model dat in één stap met extra gegevens was getraind 95,7%.
Wat er misging
De auteurs melden twee resterende zwakke punten. Namen die op elkaar lijken qua klank maar anders gespeld worden, zoals "Saurabh" en "Sorab", worden soms als niet overeenkomend beoordeeld. Namen met meerdere problemen tegelijk, zoals ontbrekende spaties, omgewisselde volgorde en scanfouten, zijn ook moeilijk. Het paper zegt dat de zeldzame gemiste overeenkomsten (minder dan 1% van de gebruikers) via de klantenservice worden opgelost.
Wat u kunt overnemen
Begin met een taak met een duidelijk ja-neeantwoord en een historie van gelabelde beslissingen. Meet het model op een testset die is gebouwd uit uw eigen eerdere gevallen en vergelijk het op dezelfde set met een algemeen model. Houd een menselijke terugvaloptie voor het kleine aandeel fouten.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Jaarlijkse kostenbesparing doordat dubbelzinnige gevallen niet meer naar een externe leverancier gaan voor handmatige verificatie (eigen verklaring van de auteurs, zonder berekening) | meer dan 500.000 $1 | |
| Responstijd van het live systeem op het 99e percentiel (P99), bij een piekbelasting van maximaal 10.000 verzoeken per minuut | 120 milliseconden1 | |
| Offline test: nauwkeurigheid bij het beslissen of twee namen overeenkomen, op een aparte set van 50.000 echte naamparen uit historische KYC-gegevens (geen meting van live beslissingen) | 99,02%1 | |
| Offline test: F1-score (een gecombineerde maat voor gemiste en onterechte overeenkomsten; 1,0 is perfect) op dezelfde set van 50.000 paren | 0,9941 | |
| Offline test: nauwkeurigheid van GPT-4o met enkele voorbeelden in de prompt, op dezelfde set van 50.000 paren | 85,4%1 |
Lessen voor uw project
Kies een smalle taak en een klein model. Dream11 gebruikte een model met open gewichten (open-weight) van 8 miljard parameters voor één ja-neebeslissing, en in de eigen tests versloeg het een groter algemeen model dat met voorbeelden werd aangestuurd.
Bouw de testset op uit uw eigen historie. Dream11 gebruikte 50.000 echte naamparen die door het risk operations-team waren gelabeld, zonder dat een naam in zowel de training als de test voorkwam.
Betrek het operationele team bij het ontwerp van de prompts. De voorbeelden in de prompts zijn samen met het risicoteam geschreven om de dubbelzinnigheden uit de praktijk weer te geven.
Plan voor de gevallen waarin het model het mis heeft. Volgens de auteurs gaan de zeldzame gemiste overeenkomsten naar de klantenservice, zodat gebruikers niet worden geblokkeerd.
Kanttekeningen
- Alle cijfers komen uit het eigen paper van Dream Sports op de industry track van ACL 2026. Geen externe partij heeft ze bevestigd.
- De cijfers voor nauwkeurigheid en F1 komen uit een offline test op historische KYC-naamparen, niet uit een meting van live beslissingen.
- De besparing van meer dan 500.000 dollar per jaar is een uitspraak van de auteurs, in het paper verwoord als resultaat van het wegnemen van de afhankelijkheid van de leverancier. Het paper laat niet zien hoe die is berekend of wie de leverancier was.
- Het paper zegt niet wanneer het systeem live ging. De inzetdatum is de maand van de congresbundel (juli 2026), geen livegangdatum.
- Het model vergelijkt alleen namen. Volgens het paper zijn er geen andere persoonsgegevens gebruikt, en het is getest op Indiase identiteitsgegevens.
- De auteurs melden dat fout-negatieven minder dan 1% van de gebruikers betreffen en door de klantenservice worden afgehandeld.
Bronnen
- Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts
ACL 2026 Industry Track (Dream Sports authors) · 2026-07 · Onderzoeksrapport · aclanthology.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.