Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
Australian Government Digital Transformation Agency
El Gobierno australiano prueba Microsoft 365 Copilot en 56 organismos: opiniones positivas, uso moderado
De enero a junio de 2024, la Digital Transformation Agency realizó una prueba de seis meses en toda la administración con Microsoft 365 Copilot. Su evaluación publicada concluye que el personal tenía una opinión positiva y declaró ahorrar tiempo en algunas tareas, pero que solo aproximadamente una de cada tres personas usaba la herramienta a diario y que las comprobaciones de exactitud reducían las ganancias.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
77 %
Participantes en la prueba que se mostraban optimistas sobre Microsoft 365 Copilot al final de la prueba2
86 %
Participantes en la prueba que querían seguir usando Copilot2
69 %
Encuestados que coincidían en que Copilot mejoró la rapidez con la que completaban sus tareas2
Qué requirió
El problema
La administración pública australiana quería que su personal probara la IA generativa de forma segura, con herramientas que ya conocía. Los chatbots públicos como ChatGPT habían llegado a millones de usuarios, y el Gobierno quería que el personal experimentara en un entorno seguro y familiar. Necesitaba saber si un asistente de IA aportaría ganancias reales en el trabajo antes de decidir con qué amplitud lo adquiría.
Qué construyeron
La Digital Transformation Agency (DTA) realizó una prueba en toda la administración de Microsoft 365 Copilot, un asistente de IA integrado en Word, Teams, Outlook y otras herramientas de Microsoft. Se anunció el 16 de noviembre de 2023 y se desarrolló del 1 de enero al 30 de junio de 2024. Copilot ya estaba cubierto por los contratos existentes del Gobierno con Microsoft, lo que permitió desplegarlo con rapidez.
Cómo lo hicieron
Los organismos se incorporaron en momentos distintos, y cada uno repartió licencias entre el personal que se había postulado. La DTA y la consultora Nous Group evaluaron la prueba. Sus pruebas fueron tres encuestas (antes, durante y después), 24 entrevistas realizadas por la DTA, 17 grupos de discusión y 8 entrevistas realizadas por Nous Group, y seis evaluaciones internas de organismos. Contribuyeron más de 2.000 participantes.
Resultados
El personal tuvo una opinión positiva: el 77 % se mostraba optimista al final y el 86 % quería conservar Copilot. El uso, sin embargo, fue moderado. Solo un tercio lo usaba a diario, sobre todo para resumir y reescribir textos en Teams y Word. Entre los encuestados, el 69 % coincidía en que Copilot aceleró sus tareas y el 61 % en que mejoró la calidad. Algunos grupos percibieron ahorros de alrededor de una hora al día en algunas tareas. La DTA concluyó que hay beneficios claros y también obstáculos reales.
Qué salió mal
La exactitud limitó las ganancias. La evaluación comprobó que revisar y corregir los resultados de Copilot anulaba parte del ahorro, y hasta un 7 % de los participantes dijo que les había añadido tiempo. Las funciones de Excel decepcionaron a los usuarios y los problemas de acceso a Outlook bloquearon el uso. Según iTnews, las altas expectativas no se cumplieron en gran medida. La evaluación también planteó preocupaciones sobre los empleos de nivel inicial, el sesgo hacia las normas occidentales y la dependencia de un solo proveedor.
Todas las cifras comunicadas
| Indicador | Cifra | Cita |
|---|---|---|
| Participantes en la prueba que se mostraban optimistas sobre Microsoft 365 Copilot al final de la prueba | 77 %2 | |
| Participantes en la prueba que querían seguir usando Copilot | 86 %2 | |
| Participantes en la prueba que usaban Copilot a diario | 1 de cada 32 | |
| Encuestados que coincidían en que Copilot mejoró la rapidez con la que completaban sus tareas | 69 %2 | |
| Encuestados que coincidían en que Copilot mejoró la calidad de su trabajo | 61 %2 | |
| Tiempo ahorrado percibido en resumir, redactar primeros borradores y buscar, para el personal de los niveles APS 3 a 6, Executive Level 1 y de funciones de TIC | alrededor de una hora al día2 | |
| Participantes en la prueba que declararon que Copilot añadió tiempo a sus actividades | Hasta un 7 %2 |
Lecciones para su proyecto
Presupueste la formación y adáptela a su propio trabajo. En la prueba, el 75 % de las personas con tres o más formas de formación se sentía seguro usando Copilot, 28 puntos porcentuales más que quienes tenían una sola.
Elija los casos de uso antes de repartir las licencias. La evaluación comprobó que la gente sobre todo resumía y reescribía textos, y que nombrar casos de uso concretos podía aumentar el uso.
Pruebe las herramientas que su gente realmente usa. Copilot funcionó bien en Word y Teams, pero los problemas en Excel y Outlook frenaron el uso.
Planifique las comprobaciones. La evaluación señala que verificar y corregir los resultados de Copilot eliminó parte del ahorro de tiempo, así que mida el tiempo neto ahorrado y no solo la rapidez del primer borrador.
Resuelva primero los permisos de datos. La evaluación advierte de que Copilot puede amplificar los malos hábitos de seguridad de los datos y de gestión de la información.
Salvedades
- Las cifras proceden de la propia evaluación de la Digital Transformation Agency, basada sobre todo en encuestas de autoevaluación y grupos de discusión. iTnews señala que la evaluación se apoya por completo en la autoevaluación y sobrerrepresenta a los directivos.
- Los participantes se postularon ellos mismos y los organismos empezaron en momentos distintos con versiones distintas de Copilot, por lo que los resultados pueden no reflejar al conjunto de la administración pública.
- Las cifras de escala difieren. El artículo de la DTA habla de más de 7.600 empleados en más de 60 organismos, el informe de evaluación de casi 5.765 licencias en 56 organismos, y iTnews de unas 5765 licencias.
- Las fuentes nombran Microsoft 365 Copilot pero no el modelo de lenguaje que hay debajo, por lo que el modelo figura como no divulgado.
- Las páginas de la DTA no pudieron obtenerse directamente y se leyeron a partir de copias de web.archive.org. El artículo de la DTA lleva fecha del 23 de octubre de 2024. El PDF de resumen no imprime ninguna fecha aparte de una mención de derechos de autor de 2024, así que no se indica ninguna para él.
Fuentes
- Evaluation of whole-of-government trial into generative AI: Now available
Digital Transformation Agency · 2024-10-23 · Nota de prensa · dta.gov.au
- Evaluation of the whole-of-government trial of Microsoft 365 Copilot: Summary of evaluation findings
Digital Transformation Agency · Sin fecha · Documento regulatorio · digital.gov.au
- Gov Copilot trial unsettled by usage metrics and unmet expectations
iTnews · 2024-10-23 · Noticia · itnews.com.au
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.