Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Dream11 (Dream Sports)
Dream11 usa un modello Llama 3 affinato per confrontare i nomi nei controlli d'identità
Gli autori di Dream Sports riferiscono che Dream11 usa un modello Llama 3 8B affinato per decidere se due nomi nei record di verifica dell'identità (KYC) coincidono, al posto dei controlli manuali di un fornitore esterno. Dichiarano che questo fa risparmiare oltre 500.000 dollari l'anno; il tempo di risposta P99 è di 120 millisecondi. L'accuratezza offline è stata del 99,02%.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
oltre 500.000 $
Risparmio annuo per aver smesso di inviare i casi ambigui a un fornitore esterno per la verifica manuale (dichiarazione degli stessi autori, senza calcolo)1
120
millisecondi
Tempo di risposta del sistema in produzione al 99° percentile (P99), con un carico di picco fino a 10.000 richieste al minuto1
99,02%
Test offline: accuratezza nel decidere se due nomi coincidono, su un set separato di 50.000 coppie di nomi reali tratte da dati KYC storici (non è una misura di decisioni in produzione)1
0,994
Test offline: punteggio F1 (una misura combinata di corrispondenze mancate e false corrispondenze; 1,0 è perfetto) sullo stesso set di 50.000 coppie1
Cosa è servito
Le fonti non rendono noti costi, dimensioni del team e tempi.
Il problema
Dream11 è una piattaforma di fantasy sport con oltre 250 milioni di utenti. Prima che un utente possa giocare, l'azienda controlla i documenti d'identità, il che significa decidere se nomi presenti su record diversi appartengano a una sola persona. In India la stessa persona può comparire come "Shubham Kumar Singh" su un documento e come "ShubhamKumarSingh" su una bolletta scansionata. I nomi sono scritti in più alfabeti, compitati in modi diversi e inseriti con refusi. Il precedente confronto basato su regole inviava i casi ambigui a un fornitore esterno per la revisione manuale.
Entrambi i tipi di errore costano denaro. Una corrispondenza mancata impedisce a un utente genuino di completare la verifica. Una falsa corrispondenza può consentire a un truffatore di gestire più account.
Cosa hanno costruito
Gli autori di Dream Sports hanno addestrato una versione del modello Llama 3 8B a pesi aperti di Meta a rispondere a una sola domanda: questi due nomi si riferiscono alla stessa persona? Il modello risponde "Yes" o "No". L'azienda chiama il metodo Structure-Guided Entity Resolution.
Il modello opera all'interno della pipeline di verifica dell'identità di Dream11. Secondo gli autori, prende decisioni di corrispondenza e non corrispondenza del tutto automatiche, quindi la coda di revisione manuale per questi casi non esiste più.
Come ci sono riusciti
L'addestramento ha avuto due fasi. Prima il modello ha imparato a scomporre un nome in nome, secondo nome e cognome, usando circa 10.000 nomi indiani etichettati a mano. Poi ha imparato la decisione di corrispondenza da coppie di nomi etichettate. Il team è partito da 20.000 coppie etichettate di operazioni passate e le ha portate a oltre 50.000 scambiando l'ordine delle coppie, rimescolando le parti dei nomi e togliendo gli spazi.
Il set di test era separato: 50.000 coppie reali di dati storici di produzione, etichettate dal team interno di operazioni sul rischio. L'addestramento è girato su una sola GPU NVIDIA A100. In produzione il modello gira su tre GPU NVIDIA L4 con il software di serving vLLM su Kubernetes.
Risultati
In produzione, gli autori affermano che eliminare i controlli manuali del fornitore fa risparmiare oltre 500.000 dollari l'anno e che il sistema gestisce fino a 10.000 richieste al minuto con una latenza P99 di 120 millisecondi, un aspetto importante durante i grandi eventi sportivi, quando le iscrizioni schizzano verso l'alto.
Offline, su un set di test separato di coppie storiche, il modello ha raggiunto un'accuratezza del 99,02% e un F1 di 0,994. Gli autori lo confrontano con altri approcci sugli stessi dati: GPT-4o guidato con esempi ha ottenuto un'accuratezza dell'85,4%, e lo stesso modello Llama addestrato in un solo passaggio con dati aggiuntivi il 95,7%.
Cosa è andato storto
Gli autori segnalano due punti deboli residui. I nomi che suonano simili ma sono scritti in modo diverso, come "Saurabh" e "Sorab", a volte vengono giudicati non corrispondenti. Sono difficili anche i nomi con più problemi insieme, come spazi mancanti, ordine invertito ed errori di scansione. Il paper afferma che le rare corrispondenze mancate (meno dell'1% degli utenti) sono risolte tramite il servizio clienti.
Cosa replicare
Partire da un compito con una risposta chiara sì/no e uno storico di decisioni etichettate. Misurare il modello su un set di test costruito dai propri casi passati e confrontarlo con un modello generale sullo stesso set. Mantenere un'alternativa umana per la piccola quota di errori.
Tutti i dati dichiarati
| Indicatore | Dato | Citazione |
|---|---|---|
| Risparmio annuo per aver smesso di inviare i casi ambigui a un fornitore esterno per la verifica manuale (dichiarazione degli stessi autori, senza calcolo) | oltre 500.000 $1 | |
| Tempo di risposta del sistema in produzione al 99° percentile (P99), con un carico di picco fino a 10.000 richieste al minuto | 120 millisecondi1 | |
| Test offline: accuratezza nel decidere se due nomi coincidono, su un set separato di 50.000 coppie di nomi reali tratte da dati KYC storici (non è una misura di decisioni in produzione) | 99,02%1 | |
| Test offline: punteggio F1 (una misura combinata di corrispondenze mancate e false corrispondenze; 1,0 è perfetto) sullo stesso set di 50.000 coppie | 0,9941 | |
| Test offline: accuratezza di GPT-4o con alcuni esempi nel prompt, sullo stesso set di 50.000 coppie | 85,4%1 |
Lezioni per il vostro progetto
Partire da un compito circoscritto e da un modello piccolo. Dream11 ha usato un modello a pesi aperti (open-weight) da 8 miliardi di parametri per una sola decisione sì/no e, nei propri test, ha superato un modello generale più grande guidato con esempi.
Costruire il set di test dalla propria storia. Dream11 ha usato 50.000 coppie di nomi reali etichettate dal proprio team di operazioni sul rischio, senza che alcun nome fosse condiviso tra addestramento e test.
Coinvolgere il team operativo nella progettazione dei prompt. Gli esempi dei prompt sono stati scritti con il team rischio per riflettere le ambiguità osservate in produzione.
Prevedere i casi in cui il modello sbaglia. Secondo gli autori, le rare corrispondenze mancate passano al servizio clienti, così gli utenti non restano bloccati.
Avvertenze
- Tutte le cifre provengono dal paper di Dream Sports alla sessione industriale di ACL 2026. Nessuna parte esterna le ha confermate.
- I dati di accuratezza e F1 derivano da un test offline su coppie di nomi KYC storiche, non da una misura di decisioni in produzione.
- Il risparmio annuo di oltre 500.000 dollari è una dichiarazione degli autori, formulata nel paper come risultato dell'eliminazione della dipendenza dal fornitore. Il paper non mostra come sia stato calcolato né chi fosse il fornitore.
- Il paper non dice quando il sistema è entrato in funzione. La data di messa in produzione è il mese degli atti della conferenza (luglio 2026), non una data di go-live.
- Il modello si limita a confrontare nomi. Il paper afferma che non sono stati usati altri dati personali ed è stato testato su dati d'identità indiani.
- Gli autori riferiscono che i falsi negativi riguardano meno dell'1% degli utenti e sono gestiti dal servizio clienti.
Fonti
- Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts
ACL 2026 Industry Track (Dream Sports authors) · 2026-07 · Articolo di ricerca · aclanthology.org
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.