Dream11 usa un modelo Llama 3 ajustado para cotejar nombres en verificaciones de identidad

El problema

Dream11 es una plataforma de deportes fantasy con más de 250 millones de usuarios. Antes de que un usuario pueda jugar, la empresa comprueba sus documentos de identidad, lo que exige decidir si nombres de registros distintos pertenecen a una misma persona. En la India, una misma persona puede aparecer como «Shubham Kumar Singh» en un documento y como «ShubhamKumarSingh» en una factura escaneada. Los nombres se escriben en varios alfabetos, se deletrean de formas distintas y se introducen con erratas. El cotejo anterior, basado en reglas, enviaba los casos ambiguos a un proveedor externo para su revisión manual.

Los dos tipos de error cuestan dinero. Una coincidencia omitida impide que un usuario legítimo termine la verificación. Una falsa coincidencia puede permitir que un estafador maneje varias cuentas.

Qué construyeron

Los autores de Dream Sports entrenaron una versión del modelo Llama 3 8B de pesos abiertos de Meta para responder a una sola pregunta: ¿se refieren estos dos nombres a la misma persona? El modelo responde «Yes» o «No». La empresa llama al método Structure-Guided Entity Resolution.

El modelo funciona dentro del flujo de verificación de identidad de Dream11. Según los autores, toma decisiones totalmente automáticas de coincidencia y no coincidencia, por lo que la cola de revisión manual de estos casos ha desaparecido.

Cómo lo hicieron

El entrenamiento tuvo dos pasos. Primero, el modelo aprendió a dividir un nombre en nombre de pila, segundo nombre y apellido, a partir de unos 10.000 nombres indios etiquetados a mano. Después aprendió la decisión de coincidencia a partir de pares de nombres etiquetados. El equipo partió de 20.000 pares etiquetados de operaciones pasadas y los amplió a más de 50.000 intercambiando el orden de los pares, mezclando partes de los nombres y quitando espacios.

El conjunto de pruebas era independiente: 50.000 pares reales de datos históricos de producción, etiquetados por el equipo interno de operaciones de riesgo. El entrenamiento se ejecutó en una sola GPU NVIDIA A100. En producción, el modelo funciona en tres GPU NVIDIA L4 con el software de servicio vLLM sobre Kubernetes.

Resultados

En producción, los autores afirman que eliminar las comprobaciones manuales del proveedor ahorra más de 500.000 dólares al año, y que el sistema gestiona hasta 10.000 solicitudes por minuto con una latencia P99 de 120 milisegundos, algo importante en los grandes eventos deportivos, cuando se disparan los registros.

Fuera de línea, sobre un conjunto de pruebas independiente de pares históricos, el modelo alcanzó una precisión del 99,02 % y un F1 de 0,994. Los autores lo comparan con otros enfoques sobre los mismos datos: GPT-4o con ejemplos en el prompt obtuvo una precisión del 85,4 %, y el mismo modelo Llama entrenado en un solo paso con datos adicionales, el 95,7 %.

Qué salió mal

Los autores señalan dos puntos débiles que persisten. Los nombres que suenan parecido pero se escriben distinto, como «Saurabh» y «Sorab», a veces se juzgan no coincidentes. También son difíciles los nombres con varios problemas a la vez, como espacios que faltan, orden invertido y errores de escaneo. El artículo indica que las raras coincidencias omitidas (menos del 1 % de los usuarios) se resuelven mediante atención al cliente.

Qué replicar

Empiece por una tarea con una respuesta clara de sí o no y un historial de decisiones etiquetadas. Mida el modelo con un conjunto de pruebas construido a partir de sus propios casos pasados y compárelo con un modelo de uso general sobre el mismo conjunto. Mantenga una alternativa humana para la pequeña proporción de errores.