Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
UK Department for Science, Innovation and Technology
La herramienta Consult del Gobierno británico clasifica 2.000 respuestas a una consulta y obtiene 0,76 frente a revisores humanos
El Gobierno británico usó Consult, parte de su conjunto de herramientas de IA Humphrey, para agrupar por temas las respuestas a una consulta pública del Gobierno escocés. Procesó más de 2.000 respuestas a seis preguntas, mientras que los funcionarios revisaron además todas las respuestas a mano. El departamento comunica una puntuación F1 de 0,76 y dice que la herramienta sigue en fase de prueba.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
más de 2.000
Respuestas a la consulta analizadas en el primer uso real, en seis preguntas cualitativas1
0,76
Puntuación F1, una medida de concordancia con los revisores humanos, que el departamento califica de «buena»1
Qué requirió
Las fuentes no divulgan el coste, el tamaño del equipo ni los plazos.
El problema
Los gobiernos realizan muchas consultas públicas, y leer miles de respuestas de texto libre es lento. El Gobierno británico dice que hace unas 500 consultas al año, y el análisis suele implicar subcontratar a empresas costosas. Clasificar las respuestas por temas es además subjetivo, porque los revisores humanos no siempre coinciden.
Qué construyeron
Consult es una herramienta de IA generativa que el Gobierno británico desarrolló dentro de Humphrey, un conjunto de herramientas de IA pensado para reducir el tiempo de trámites de los funcionarios. Encuentra los temas principales de las respuestas a una consulta y clasifica cada respuesta en ellos. El departamento dice que los funcionarios siempre podrán revisar los temas y la clasificación mediante un panel interactivo.
Cómo lo hicieron
Su primer uso real fue una consulta del Gobierno escocés sobre la regulación de los procedimientos cosméticos no quirúrgicos, por ejemplo los rellenos de labios y la depilación láser. Consult propuso temas para cada una de las seis preguntas cualitativas. Expertos del Gobierno escocés los comprobaron y los afinaron, y después la herramienta clasificó más de 2.000 respuestas en esos temas. Como era la primera ejecución real, los funcionarios revisaron además todas las respuestas a mano y compararon ambos resultados.
Resultados
El departamento comunica una puntuación F1 de 0,76 frente a los revisores humanos, una medida habitual de concordancia que califica de buena. Dice que la IA y los revisores coincidieron en su mayoría y que, donde diferían, la clasificación de los temas apenas cambió. Los funcionarios escoceses dijeron que el resultado fue un punto de partida útil y que ahorró mucho tiempo. La herramienta sigue en fase de prueba, con más evaluaciones previstas antes de decidir el despliegue.
Lecciones para su proyecto
Ejecute primero la herramienta en paralelo con personas. Los expertos del Gobierno escocés revisaron todas las respuestas a mano, de modo que el equipo pudo medir con qué frecuencia coincidían la IA y las personas.
Haga que expertos comprueben y afinen los temas que propone la IA, y mantenga un panel interactivo para que los funcionarios puedan filtrar y revisar cómo se clasificaron las respuestas.
Comunique una medida de exactitud acordada y publique la evaluación. El DSIT publicó una evaluación completa junto con el anuncio.
No extrapole los ahorros antes de terminar las pruebas. El departamento dice que habrá más evaluaciones de exactitud y eficiencia antes de decidir el despliegue.
Salvedades
- El anuncio del departamento es la fuente principal, y la herramienta y la métrica son del propio Gobierno. Civil Service World, un medio independiente, informa del anuncio pero repite las cifras del departamento, por lo que no las confirma de forma independiente.
- Consult se describe como en fase de prueba. El departamento dice que habrá más evaluaciones de exactitud y eficiencia antes de las decisiones finales sobre el despliegue.
- El comunicado proyecta unos 75.000 días de análisis y 20 millones de libras en costes de personal para unas 500 consultas al año. Es una proyección, no un resultado medido, y aquí no se cuenta como resultado.
- El comunicado dice que la IA y los revisores humanos coincidieron en su mayoría y que las diferencias tuvieron un efecto insignificante en la clasificación de los temas. No da ninguna cifra de tiempo ahorrado para esta consulta.
- No se nombra ningún modelo. La fecha de despliegue es la del anuncio; las fuentes no dan fecha de puesta en marcha.
Fuentes
- Government-built 'Humphrey' AI tool reviews responses to consultation for first time, in bid to save millions
GOV.UK · 2025-05-14 · Nota de prensa · gov.uk
- Civil service AI tool for consultation analysis passes first public test
Civil Service World · 2025-05-14 · Noticia · civilserviceworld.com
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.