Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
UK Department for Transport
Herramienta de análisis de consultas del Department for Transport británico: 90 % de exhaustividad de temas en pilotos reales, 75 % sin revisión
El Department for Transport y el Alan Turing Institute construyeron una herramienta que usa IA para encontrar temas en las respuestas a consultas públicas y etiquetar cada respuesta, mientras funcionarios revisan los temas. En pilotos reales, sus temas de primera pasada alcanzaron un 90 % de exhaustividad (recall) frente al conjunto revisado por humanos, contra cerca del 75 % en una prueba ciega sin intervención humana. El departamento estima por separado, pero no ha medido, ahorros de en torno al 50-70 %.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
90 %
Temas hallados por la herramienta que coincidieron con los temas validados por humanos en pilotos reales (recall)2
0,93
Puntuación de etiquetado de temas (F1, donde 1 es perfecto) en pilotos reales, comparando la primera pasada de la herramienta con el resultado ajustado por humanos2
más del 92 %
Concordancia bruta entre la herramienta y los revisores humanos en el etiquetado de temas, en ambos diseños de evaluación2
75 %
Temas humanos que la herramienta halló por sí sola, en la prueba ciega sin revisión humana (recall)2
Qué requirió
El problema
El Department for Transport (DfT) realiza unas 55 consultas al año. Cada una produce respuestas de texto libre que hay que agrupar en temas y contar. Hacerlo a mano es lento y caro, y en consultas muy grandes a veces solo se lee una muestra.
Qué construyeron
El equipo de IA y ciencia de datos del DfT y el Alan Turing Institute construyeron la Consultation Analysis Tool (CAT). Funciona en dos pasos. Un grupo de grandes modelos de lenguaje (sistemas de IA que leen y escriben texto) propone los temas principales y raras «golden insights» a partir de las respuestas. Tras la revisión de esos temas por funcionarios, los modelos etiquetan cada respuesta con los temas que menciona. La versión evaluada, la v1.0, usa la familia de modelos Gemini de Google.
Cómo lo hicieron
El desarrollo siguió a la investigación del DfT de 2023 sobre las actitudes del público ante el uso de la IA en consultas, que pedía supervisión humana. Los funcionarios revisan una muestra aleatoria de respuestas y ajustan los temas de la IA antes del paso de etiquetado. El equipo probó la herramienta de dos maneras: una prueba ciega con 11 preguntas frente a referencias creadas por humanos, y pilotos reales en los que los analistas revisaron el resultado de la herramienta y se comparó el resultado original con su versión final. A la fecha del informe se había usado en cuatro consultas, convocatorias de pruebas y convocatorias de ideas, además de otra en la que los funcionarios solo contrastaron sus temas.
Resultados
En pilotos reales, los temas de primera pasada de la herramienta tuvieron un 90 % de recall frente al conjunto que los funcionarios acabaron validando, y su etiquetado obtuvo 0,93 de F1 frente al resultado ajustado por humanos, con más del 92 % de concordancia bruta con los humanos. En la prueba ciega, el recall fue de en torno al 75 % y el F1 de etiquetado de 0,75. Se procesan todas las respuestas, no una muestra. Por separado, el DfT estima, sin haberlo medido, que la herramienta ahorra en torno al 50-70 % del coste y el tiempo de una consulta de tamaño medio, y unas 15.000 horas hasta ahora.
Qué salió mal
Sin revisión humana, la herramienta halló en torno al 75 % de los temas humanos, y la precisión varió según el conjunto de datos. Los revisores se encontraron con temas solapados y algunas lecturas erróneas del sentimiento, por lo que el departamento mantiene la revisión humana de los temas.
Todas las cifras comunicadas
| Indicador | Cifra | Cita |
|---|---|---|
| Temas hallados por la herramienta que coincidieron con los temas validados por humanos en pilotos reales (recall) | 90 %2 | |
| Puntuación de etiquetado de temas (F1, donde 1 es perfecto) en pilotos reales, comparando la primera pasada de la herramienta con el resultado ajustado por humanos | 0,932 | |
| Concordancia bruta entre la herramienta y los revisores humanos en el etiquetado de temas, en ambos diseños de evaluación | más del 92 %2 | |
| Temas humanos que la herramienta halló por sí sola, en la prueba ciega sin revisión humana (recall) | 75 %2 | |
| Puntuación de etiquetado de temas (F1) en la prueba ciega, donde los humanos habían creado los temas | 0,752 | |
| Respuestas analizadas en pilotos reales hasta la fecha | 200.0002 | |
| Ahorro estimado sobre el coste y el tiempo totales de una consulta de tamaño medio (estimación del departamento) | en torno al 50-70 %2 | |
| Trabajo ahorrado estimado hasta la fecha frente a un análisis totalmente humano (estimación del departamento) | unas 15.000 horas2 |
Lecciones para su proyecto
Mantenga a una persona al mando de los temas. El recall a ciegas de la herramienta fue del 75 % y subió al 90 % tras la revisión humana, lo que el equipo cita como la razón de mantener la revisión.
Pruebe dos veces: contra una referencia humana oculta y luego en uso real. Los dos resultados (0,75 y 0,93 de F1) cuentan historias muy distintas, así que publique ambos.
Planifique el esfuerzo de revisión mediante muestreo. El DfT construyó un método estadístico para estimar cuántas respuestas deben leer los revisores para tener aproximadamente un 95 % de confianza en que no se pasa por alto ningún tema principal.
Compruebe los sesgos, no solo la precisión. El equipo probó la precisión en distintos grupos demográficos y no halló indicios de diferencias sistemáticas.
Presupueste los costes fijos. La revisión, el diseño de la encuesta, la gestión del proyecto y la redacción del informe permanecen, de modo que los ahorros crecen con el tamaño de la consulta.
Salvedades
- El Department for Transport, que construyó la herramienta junto con el Alan Turing Institute, redactó y publicó la evaluación. No es independiente.
- El ahorro del 50-70 % y las 15.000 horas son estimaciones del departamento basadas en supuestos sobre costes de encuestas y comentarios de investigadores sociales, no ahorros medidos. El informe también proyecta ahorros de 1,5 a 4 millones de libras al año si se escala, cifra que aquí no se cuenta como resultado.
- Las puntuaciones de los pilotos reales comparan la herramienta con humanos que primero vieron su resultado y luego lo ajustaron, por lo que probablemente parezcan mejores que en la prueba ciega (75 % de recall, 0,75 de F1). Por tanto, el 90 % de recall significa que los temas de la herramienta superaron en gran medida la revisión humana, no que igualara un análisis humano independiente.
- La precisión varió mucho entre conjuntos de datos: el F1 en los temas principales fue de 0,61 a 1 según la pregunta en los pilotos reales. Los usuarios también informaron de temas solapados y algunas lecturas erróneas del sentimiento.
- La satisfacción de los usuarios se basa en 15 respuestas de encuesta. El informe dice que las mejoras de modelo y de método explican probablemente las puntuaciones más altas en algunos conjuntos de datos.
- El modelo se nombra solo como la familia Google Gemini; durante el desarrollo se probaron otros modelos. La fecha de despliegue es la fecha de publicación del informe, al no indicarse fecha de puesta en marcha.
- Es una herramienta distinta de la herramienta Consult construida por el DSIT y el Incubator for AI, que tiene su propio caso en la biblioteca.
Fuentes
- AI Consultation Analysis Tool evaluation
Department for Transport, GOV.UK · 2025-12-23 · Documento regulatorio · gov.uk
- AI Consultation Analysis Tool (CAT) v1.0 Evaluation
Department for Transport / The Alan Turing Institute · 2025-12-23 · Artículo de investigación · assets.publishing.service.gov.uk
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.