Estándar de evidencia
Nuestro estándar de evidencia
Lumiary documenta la IA que organizaciones reales utilizan, para que usted pueda aprender de lo que funcionó y de lo que no. Esta página expone las reglas que debe cumplir cada caso. Son las reglas que sigue nuestro proceso de investigación, y las publicamos para que pueda exigirnos su cumplimiento.
Quién hace el trabajo
Agentes de IA investigan, redactan, verifican y traducen cada caso. Son modelos de lenguaje que ejecutamos con instrucciones escritas, y esta página resume esas instrucciones.
Un agente distinto, que no ha redactado el caso, comprueba cada cifra con su fuente antes de que el caso se publique. Abre cada fuente por sí mismo y confirma cada cifra, fecha, nombre de modelo y afirmación. Lo que no puede confirmar se elimina, o el caso se descarta.
Los casos nuevos se publican por lotes, y un lote solo se activa cuando ha superado todas las comprobaciones automáticas.
Qué casos cumplen los requisitos
Publicamos un caso solo si se cumplen todas estas condiciones:
- Una empresa u organismo público identificado utiliza IA generativa o un modelo de lenguaje de gran tamaño en sus propias operaciones o en su producto, en producción o en un piloto con usuarios reales. El aprendizaje automático clásico, como la puntuación de fraude o las previsiones sin modelo de lenguaje, no cuenta.
- Ha comunicado un resultado, idealmente una cifra como tiempo ahorrado, coste, volumen, precisión o satisfacción. Una marcha atrás, un cierre, una sentencia o una demanda también cuentan como resultado.
- Al menos una fuente primaria que podamos abrir y leer íntegramente: el blog de la propia organización, una nota de prensa, una presentación de resultados, un documento presentado ante un regulador o una ponencia en un congreso, o un caso de estudio de un proveedor que nombre al cliente.
- Sus cifras principales figuran en una página que podemos leer, de modo que podamos copiarlas exactamente.
Por qué descartamos un candidato
La mayoría de los candidatos que investigamos se publica, pero muchos no. En nuestros cuatro primeros lotes de investigación publicamos 89 y descartamos 61. Los motivos habituales:
- Las únicas cifras son proyecciones o ahorros esperados, no resultados medidos. Una salvedad no rescata una cifra principal proyectada.
- No se comunica ningún resultado, solo volúmenes, planes o elogios generales.
- Ninguna fuente respalda siquiera el año en que empezó el despliegue.
- No hay una fuente primaria que podamos leer: solo cobertura de prensa, un artículo de pago o una página que no podemos abrir.
- La cifra principal no aparece en la fuente a la que se atribuye.
- No se demuestra que sea IA generativa. Un texto rellenado en plantillas fijas, por ejemplo, no lo es.
- No es un despliegue. Que un regulador multe a un proveedor de modelos, o una demanda por datos de entrenamiento, es noticia sobre la IA, no un caso de una organización que la utiliza.
- Duplica un caso que ya tenemos. Una fuente más reciente sobre el mismo despliegue actualiza ese caso.
- Antes de descartar un candidato por falta de evidencia, el agente debe hacer al menos tres búsquedas específicas, entre ellas en la sala de prensa de la organización y, en las empresas cotizadas, en sus resultados o su informe anual, y debe buscar también en el idioma local.
Cómo se verifica cada caso
El agente verificador considera erróneo cada borrador hasta haberlo comprobado. Este agente:
- Abre cada fuente por sí mismo, en lugar de fiarse de las notas del redactor.
- Confirma que cada cifra aparece en la fuente citada con el mismo número, la misma unidad y la misma salvedad, como alrededor de, hasta o más de.
- Confirma que una fuente nombra el modelo y a su proveedor. Si ninguna lo hace, el caso indica que el modelo no se ha divulgado. Nunca deducimos un modelo a partir de una alianza.
- Comprueba cada fecha con la página y elimina las que la página no muestra.
- Elimina toda frase del resumen o del cuerpo que ninguna fuente respalde, y comprueba que ninguna frase esté copiada de una fuente.
- Comprueba que el nivel de evidencia no esté exagerado.
- Descarta el caso si no se puede confirmar alguna cifra principal, si no hay ninguna fuente primaria legible o si el caso incumple las reglas de admisión. No suaviza una cifra sin confirmar con palabras más vagas.
- Después, cada caso pasa un validador automático: campos y secciones obligatorios, una fuente para cada cifra y cifras escritas en notación inglesa.
Niveles de evidencia
Cada caso lleva una sola etiqueta, para que vea quién respalda sus afirmaciones. La etiqueta describe las fuentes, no nuestra opinión sobre el resultado.
- Confirmado de forma independiente
- Un medio de comunicación independiente, un documento auditado o un registro judicial confirma la implantación o sus cifras. Ejemplo: Air Canada, responsable del consejo erróneo de su chatbot sobre tarifas por duelo
- Comunicado por la empresa
- La propia empresa lo afirma, en una entrada de blog, una nota de prensa, una presentación de resultados o una ponencia. Sin confirmación independiente. Ejemplo: Klarna usa un asistente basado en OpenAI para atención al cliente y después vuelve a incorporar personas
- Comunicado por el proveedor
- Un caso de estudio de un proveedor nombra al cliente. Es útil, pero el proveedor tiene interés en presentar bien los resultados. Ejemplo: Edgeless Systems ejecuta Llama 70B en una nube cifrada para empresas reguladas y declara un ahorro del 50 %
Cómo tratamos las cifras
- Cada cifra enlaza a la fuente que la afirma.
- Copiamos las cifras tal como las escribe la fuente, con sus salvedades y unidades. Nunca redondeamos, convertimos, calculamos ni combinamos cifras, ya procedan de una fuente o de varias.
- La etiqueta de cada cifra indica qué se midió, en qué ámbito y durante qué período, en la medida en que la fuente lo diga.
- Si una fuente escribe una cifra con la notación de otro idioma, la escribimos con notación inglesa en el caso en inglés y conservamos su redacción.
- Si el modelo no se ha divulgado, lo decimos.
Cómo tratamos las fechas
- Solo usamos fechas que figuran en las fuentes. Nunca deducimos una fecha, y nunca usamos la fecha en que leímos una página.
- Si las fuentes solo indican un año, el caso muestra solo el año. No elegimos un mes.
- Si una página de origen no tiene fecha, dejamos su fecha en blanco. La fecha de una captura de archivo o un aviso de derechos de autor no es una fecha de publicación.
- Cada caso muestra cuándo lo añadimos y, una vez actualizado, cuándo se actualizó por última vez.
Fuentes y citas
- Preferimos las fuentes primarias y buscamos una segunda fuente independiente, como un medio de comunicación, un documento oficial o un registro judicial.
- Aceptamos fuentes en cualquier idioma. Muchas organizaciones europeas publican sus resultados solo en su propio idioma, así que buscamos en él y conservamos el título de la fuente en su idioma original.
- No citamos una fuente que no hayamos podido abrir y leer. Una noticia disponible solo tras un muro de pago no puede acreditar un caso. Las publicaciones de LinkedIn nunca son una fuente.
- Si leímos una página a través de una copia archivada porque la página en línea estaba bloqueada o fuera de servicio, el caso lo indica.
- Resumimos con nuestras propias palabras y citamos como máximo una frase breve por caso, de menos de 15 palabras, con el nombre de quien habla.
Fracasos y marchas atrás
- Los fracasos enseñan tanto como los éxitos, así que cumplen los requisitos en las mismas condiciones: una organización identificada, un despliegue real y un resultado.
- Un caso de fracaso requiere un registro judicial o de un regulador, o una declaración de la propia organización. La cobertura de prensa basada solo en capturas de pantalla no basta.
- Describimos qué salió mal, qué hizo después la organización y qué es lo que las fuentes no nos dicen.
Traducciones
- El inglés es la versión de referencia. Cada caso se investiga, se redacta y se verifica en inglés.
- Agentes de IA traducen cada caso al francés, alemán, español, neerlandés, italiano y polaco. Después, un agente revisor distinto para cada idioma lee cada traducción íntegramente y la contrasta con el inglés.
- Antes de publicar cada traducción se ejecutan comprobaciones automáticas. Cada cifra debe conservar su valor, escrita a la manera local. Una fecha escrita con palabras debe conservar su mes. Las secciones y el número de cifras, lecciones y salvedades deben coincidir con el inglés, y las fuentes se toman del caso en inglés sin cambios.
- Si una traducción no supera una comprobación, o si el caso en inglés ha cambiado desde que se tradujo, el sitio muestra el original en inglés.
Correcciones y actualizaciones
- Si un caso contiene un error, o una organización ha publicado resultados más recientes, corregimos o actualizamos el caso y mostramos en él la fecha de actualización.
- Una fuente más reciente sobre un caso existente actualiza ese caso. No crea un segundo caso.
Lo que no afirmamos
- No auditamos las cifras de las organizaciones. Confirmamos que una fuente afirma una cifra, no que la cifra sea cierta.
- Comunicado por la empresa significa exactamente eso: la organización lo afirma y ninguna fuente independiente lo ha confirmado. Comunicado por el proveedor significa que lo afirma un proveedor, que tiene interés en presentar bien los resultados.
- Un caso resume lo que era público cuando lo redactamos. Los resultados pueden haber cambiado desde entonces, así que consulte las fuentes y sus fechas.
- Incluir un caso no supone respaldar a la organización, a sus proveedores ni a sus productos.
Cuestione este estándar
Este estándar está hecho para ser cuestionado. Si cree que un caso es erróneo, o que alguna de estas reglas es demasiado estricta, demasiado laxa o falta, escriba a corrections@lumiary.ai. Incluya un enlace al caso o nombre la regla, y enlace cualquier fuente. Cuando una regla cambia, el cambio se indica a continuación.
Cambios en este estándar
- : Primera publicación de este estándar.
- : Ahora la fecha de un despliegue puede ser solo un año cuando las fuentes no indican el mes. Antes, esos casos se descartaban.
- : Antes de descartar un candidato por falta de evidencia, los agentes ahora buscan en el idioma local y aceptan fuentes primarias en ese idioma.
- : Ahora indicamos qué no es un despliegue: que un regulador, un tribunal o un crítico actúe contra un proveedor de modelos, por ejemplo con una multa por privacidad, no es un caso de una organización que utiliza IA.
- : La comprobación de las traducciones ahora confirma que una fecha escrita con palabras conserva su mes, en todos los idiomas.
- : La comprobación de las traducciones ahora acepta que el «billion» inglés (mil millones) se escriba como «1.000 millones», la forma habitual en español, italiano y polaco, siempre que el valor sea el mismo.