Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
Checkr
Checkr afina Llama 3 para clasificar sus registros de verificación más difíciles y supera a GPT-4 en sus pruebas
Checkr, una empresa de verificación de antecedentes, afinó Llama-3-8B-Instruct, el modelo de pesos abiertos de Meta, para clasificar el 2 % más difícil de sus registros. Su ingeniero informa de un 90 % de precisión en esos casos, respuestas 30 veces más rápidas que en sus pruebas con GPT-4 y costes de inferencia 5 veces inferiores a los de GPT-4.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
90 %
Precisión de Llama-3-8B-Instruct afinado en el 2 % de casos más difíciles1
0,15
segundos, lo que Checkr describe como 30 veces más rápido que sus experimentos con GPT-4
Tiempo de respuesta con tráfico de producción1
Reducción de 5 veces (a una quinta parte)
Coste de inferencia en comparación con GPT-41
Qué requirió
Las fuentes no divulgan el coste, el tamaño del equipo ni los plazos.
El problema
Checkr realiza verificaciones de antecedentes para más de 100.000 clientes y gestiona millones cada mes. Tras una verificación, el empleador debe decidir si el candidato encaja en el puesto, un paso llamado adjudicación. Checkr ofrece adjudicación automatizada. Para el 98 % de los registros funciona bien un modelo estadístico ajustado. El 2 % restante son registros de texto desordenado que hay que clasificar en 230 categorías. La red neuronal anterior de Checkr solo clasificaba con una precisión aceptable el 1 % de todos los registros, dejando el otro 1 % sin clasificar y generando más trabajo para los clientes.
Qué construyeron
Checkr construyó un clasificador sobre Llama-3-8B-Instruct, un modelo de pesos abiertos de Meta. Pesos abiertos significa que los archivos del modelo se publican, de modo que una empresa puede adaptarlo y ejecutarlo. El equipo usó el afinado (fine-tuning), que consiste en seguir entrenando un modelo con los ejemplos etiquetados de la propia empresa. Entrenó un modelo pequeño con 150.000 filas de datos de Checkr.
Cómo lo hicieron
El ingeniero de aprendizaje automático de Checkr comparó varios enfoques con los mismos datos. GPT-4, con instrucciones y las 230 categorías, obtuvo un 87-88 % en el 98 % de casos más fáciles y un 80-82 % en el 2 % más difícil. Añadir la recuperación de ejemplos mejoró la precisión en el conjunto fácil, pero no en el difícil. Un Llama-2-7b afinado superó a GPT-4 en ambos. El mejor resultado llegó con el afinado de Llama-3-8B-Instruct.
El equipo probó varias plataformas de afinado y despliegue y eligió Predibase. Esta usa LoRAX, una herramienta de código abierto que sirve muchos pequeños complementos afinados (adaptadores LoRA) sobre un único modelo base, de modo que los nuevos usos no necesitan más GPU.
Resultados
El ingeniero informa de un 90 % de precisión en el 2 % de casos más difíciles, por encima de GPT-4 y de todos los demás experimentos de afinado. En producción, las respuestas tardan 0,15 segundos, 30 veces más rápido que en los experimentos con GPT-4. Los costes de inferencia se redujeron 5 veces en comparación con GPT-4. La tarea es síncrona y tiene límites de velocidad estrictos, porque los clientes esperan resultados casi en tiempo real.
Qué replicar
Acote primero el problema y compare después un modelo pequeño afinado con uno general usando sus propios datos antes de decidir.
Todas las cifras comunicadas
| Indicador | Cifra | Cita |
|---|---|---|
| Precisión de Llama-3-8B-Instruct afinado en el 2 % de casos más difíciles | 90 %1 | |
| Precisión de GPT-4 en el 2 % de casos más difíciles en el experimento de Checkr | 80-82 %1 | |
| Tiempo de respuesta con tráfico de producción | 0,15 segundos, lo que Checkr describe como 30 veces más rápido que sus experimentos con GPT-41 | |
| Coste de inferencia en comparación con GPT-4 | Reducción de 5 veces (a una quinta parte)1 | |
| Porcentaje de todos los registros que la red neuronal anterior clasificaba con una precisión aceptable, dentro del 2 % difícil | 1 % (el otro 1 % quedaba sin clasificar)1 |
Lecciones para su proyecto
Envíe al modelo de lenguaje solo los casos difíciles. Checkr gestiona el 98 % de los registros con un modelo estadístico sencillo y usa el modelo de lenguaje para el 2 % restante.
Pruebe un modelo pequeño afinado frente al modelo general grande con sus propios datos. En la prueba de Checkr, el modelo pequeño afinado superó a GPT-4 en los casos difíciles.
Mantenga los prompts cortos una vez afinado el modelo. Checkr comprobó que los cambios en el prompt tenían un impacto mínimo en la precisión, así que prompts más cortos reducen el coste en tokens.
Elija una infraestructura capaz de alojar varias variantes afinadas sobre un mismo modelo. Checkr prevé añadir más usos sin más GPU.
Salvedades
- La fuente es una entrada de blog en el sitio web de Predibase, el proveedor que usa Checkr, escrita por un ingeniero de Checkr. Ninguna fuente independiente confirma las cifras.
- La página original ahora redirige a otro sitio y bloqueaba el acceso automatizado, por lo que este informe se redactó a partir de una copia archivada de la entrada original.
- La entrada no indica la fecha de puesta en marcha, por lo que la fecha de despliegue mostrada es la fecha de la entrada.
- La entrada no indica dónde opera Checkr. La región mostrada se basa en que Checkr es una empresa estadounidense, no en la fuente.
- La tabla de la entrada muestra los costes de GPT-4 y de Llama afinado en dólares sin indicar el periodo ni las unidades, por lo que aquí no se usan cifras en dólares.
Fuentes
- Fine-Tuned SLMs Help Checkr Optimize Background Checks
Predibase · 2024-10-03 · Caso de estudio del proveedor · predibase.com
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.