Notre standard de preuve

Qui fait le travail

Des agents d’IA recherchent, rédigent, vérifient et traduisent chaque cas. Ce sont des modèles de langage que nous exploitons avec des instructions écrites, et cette page résume ces instructions.

Un autre agent, qui n’a pas rédigé le cas, vérifie chaque chiffre à la source avant la publication. Il ouvre lui-même chaque source et confirme chaque chiffre, date, nom de modèle et affirmation. Ce qu’il ne peut pas confirmer est supprimé, ou le cas est abandonné.

Les nouveaux cas sont publiés par lots, et un lot n’est mis en ligne qu’une fois tous ses contrôles automatiques réussis.

Ce qui est retenu

Nous ne publions un cas que si toutes ces conditions sont réunies :

• Une entreprise ou un organisme public identifié utilise l’IA générative ou un grand modèle de langage dans ses propres activités ou son propre produit, en production ou en pilote auprès d’utilisateurs réels. L’apprentissage automatique classique, comme la détection de fraude ou la prévision sans modèle de langage, n’est pas retenu.
• Il a annoncé un résultat, idéalement un chiffre : temps gagné, coût, volume, précision ou satisfaction. Un retour en arrière, un arrêt, une décision de justice ou une action en justice compte aussi comme résultat.
• Au moins une source primaire que nous pouvons ouvrir et lire en entier : le blog de l’organisation, son communiqué de presse, sa conférence sur les résultats, un document réglementaire ou une intervention en conférence, ou l’étude de cas d’un éditeur qui nomme le client.
• Ses principaux chiffres figurent sur une page que nous pouvons lire, de sorte que nous pouvons les reprendre à l’identique.

Pourquoi nous écartons un candidat

La plupart des candidats que nous étudions sont publiés, mais beaucoup ne le sont pas. Lors de nos quatre premiers lots de recherche, nous en avons publié 89 et écarté 61. Les raisons habituelles :

• Les seuls chiffres sont des projections ou des économies attendues, pas des résultats mesurés. Une réserve ne sauve pas un chiffre phare qui n’est qu’une projection.
• Aucun résultat n’est annoncé, seulement des volumes, des projets ou des éloges généraux.
• Aucune source n’étaye même l’année de démarrage du déploiement.
• Aucune source primaire que nous puissions lire : seulement de la couverture de presse, un article payant ou une page que nous ne pouvons pas ouvrir.
• Le chiffre phare est introuvable dans la source à laquelle il est attribué.
• Rien ne montre qu’il s’agit d’IA générative. Du texte inséré dans des gabarits fixes, par exemple, n’en est pas.
• Ce n’est pas un déploiement. Un régulateur qui sanctionne un éditeur de modèles, ou une action en justice sur des données d’entraînement, relève de l’actualité de l’IA, pas d’une organisation qui l’utilise.
• Il fait doublon avec un cas que nous avons déjà. Une source plus récente sur le même déploiement met ce cas à jour.
• Avant d’écarter un candidat faute de preuves, l’agent doit effectuer au moins trois recherches ciblées, dont la salle de presse de l’organisation et, pour les sociétés cotées, ses résultats ou son rapport annuel, et doit aussi chercher dans la langue locale.

Comment chaque cas est vérifié

L’agent vérificateur considère chaque brouillon comme erroné tant qu’il ne l’a pas contrôlé. Il :

• Ouvre lui-même chaque source, sans se fier aux notes du rédacteur.
• Confirme que chaque chiffre figure dans la source citée avec le même nombre, la même unité et la même réserve, comme environ, jusqu’à ou plus de.
• Confirme qu’une source nomme le modèle et son éditeur. Si aucune ne le fait, le cas indique que le modèle n’est pas communiqué. Nous ne déduisons jamais un modèle d’un partenariat.
• Contrôle chaque date sur la page et supprime toute date que la page n’affiche pas.
• Supprime toute phrase du résumé ou du corps du texte qu’aucune source n’étaye, et vérifie qu’aucune phrase n’est recopiée d’une source.
• Vérifie que le niveau de preuve n’est pas surévalué.
• Écarte le cas si un chiffre phare ne peut être confirmé, si aucune source primaire n’est lisible ou si le cas ne respecte pas les règles de sélection. Il n’adoucit pas un chiffre non confirmé en termes plus vagues.
• Chaque cas passe ensuite par un validateur automatique : champs et sections obligatoires, une source pour chaque chiffre, et chiffres écrits en notation anglaise.

Notre traitement des chiffres

• Chaque chiffre renvoie à la source qui l’énonce.
• Nous reprenons les chiffres tels que la source les écrit, avec leurs réserves et leurs unités. Nous ne les arrondissons, ne les convertissons, ne les calculons ni ne les combinons jamais, qu’ils viennent d’une ou de plusieurs sources.
• L’intitulé de chaque chiffre indique ce qui a été mesuré, sur quel périmètre et quelle période, dans la mesure où la source le précise.
• Si une source écrit un chiffre selon la notation d’une autre langue, nous l’écrivons en notation anglaise dans le cas en anglais et en conservons la formulation.
• Si le modèle n’est pas communiqué, nous l’indiquons.

Notre traitement des dates

• Nous n’utilisons que les dates affichées dans les sources. Nous ne déduisons jamais une date, et nous n’utilisons jamais la date à laquelle nous avons lu une page.
• Si les sources ne donnent que l’année, le cas n’indique que l’année. Nous ne choisissons pas de mois.
• Si une page source n’est pas datée, nous laissons sa date vide. Une date de capture d’archive ou une mention de droits d’auteur n’est pas une date de publication.
• Chaque cas indique quand nous l’avons ajouté et, une fois mis à jour, quand il l’a été pour la dernière fois.

Sources et citations

• Nous privilégions les sources primaires et cherchons une seconde source indépendante, comme un média, un document réglementaire ou un document judiciaire.
• Nous acceptons les sources dans toutes les langues. De nombreuses organisations européennes ne publient leurs résultats que dans leur langue, nous y cherchons donc et conservons le titre de la source dans sa langue d’origine.
• Nous ne citons pas une source que nous n’avons pas pu ouvrir et lire. Un article accessible uniquement derrière un mur payant ne peut pas justifier un cas. Les publications LinkedIn ne sont jamais une source.
• Si nous avons lu une page par l’intermédiaire d’une copie archivée, parce que la page en ligne était bloquée ou hors service, le cas le précise.
• Nous résumons avec nos propres mots et citons au plus une courte phrase par cas, de moins de 15 mots, en nommant la personne qui s’exprime.

Échecs et retours en arrière

• Les échecs enseignent autant que les réussites, ils sont donc retenus aux mêmes conditions : une organisation identifiée, un déploiement réel et un résultat.
• Un cas d’échec exige un document officiel d’un tribunal ou d’un régulateur, ou la déclaration de l’organisation elle-même. La couverture de presse de simples captures d’écran ne suffit pas.
• Nous décrivons ce qui a mal tourné, ce que l’organisation a fait ensuite et ce que les sources ne nous disent pas.

Traductions

• L’anglais est la version de référence. Chaque cas est recherché, rédigé et vérifié en anglais.
• Des agents d’IA traduisent chaque cas en français, allemand, espagnol, néerlandais, italien et polonais. Pour chaque langue, un autre agent relecteur lit ensuite chaque traduction en entier en la comparant à l’anglais.
• Des contrôles automatiques s’appliquent à chaque traduction avant sa publication. Chaque chiffre doit conserver sa valeur, écrite à la manière locale. Une date écrite en toutes lettres doit conserver son mois. Les sections ainsi que le nombre de chiffres, de leçons et de réserves doivent correspondre à l’anglais, et les sources sont reprises telles quelles du cas en anglais.
• Si une traduction échoue à un contrôle, ou si le cas anglais a changé depuis sa traduction, le site affiche l’original anglais à la place.

Corrections et mises à jour

• Si un cas contient une erreur, ou si une organisation a publié des résultats plus récents, nous corrigeons ou mettons à jour le cas et en indiquons la date de mise à jour.
• Une source plus récente sur un cas existant met ce cas à jour. Elle ne crée pas un second cas.

Ce que nous n’affirmons pas

• Nous n’auditons pas les chiffres des organisations. Nous confirmons qu’une source énonce un chiffre, pas que ce chiffre est exact.
• « Annoncé par l’entreprise » signifie exactement cela : l’organisation l’affirme, et aucune source indépendante ne l’a confirmé. « Annoncé par l’éditeur » signifie qu’un fournisseur l’affirme, et que ce fournisseur a intérêt à présenter ses résultats sous leur meilleur jour.
• Un cas résume ce qui était public au moment où nous l’avons rédigé. Les résultats ont pu changer depuis, vérifiez donc les sources et leurs dates.
• L’inclusion d’un cas ne vaut pas approbation de l’organisation, de ses fournisseurs ni de leurs produits.

Contester ce standard

Ce standard est fait pour être contesté. Si vous pensez qu’un cas est erroné, ou qu’une de ces règles est trop stricte, trop laxiste ou manquante, écrivez à corrections@lumiary.ai. Joignez un lien vers le cas ou nommez la règle, et joignez un lien vers chaque source. Lorsqu’une règle change, la modification est listée ci-dessous.

Modifications de ce standard

• 17 octobre 2026: Première publication de ce standard.
• 17 octobre 2026: La date d’un déploiement peut désormais se limiter à l’année lorsque les sources n’indiquent pas de mois. Auparavant, ces cas étaient écartés.
• 17 octobre 2026: Avant d’écarter un candidat faute de preuves, les agents cherchent désormais dans la langue locale et acceptent les sources primaires rédigées dans cette langue.
• 17 octobre 2026: Nous précisons désormais ce qui n’est pas un déploiement : un régulateur, un tribunal ou un détracteur qui agit contre un éditeur de modèles, par exemple une amende pour atteinte à la vie privée, ne constitue pas un cas d’organisation utilisant l’IA.
• 17 octobre 2026: Le contrôle des traductions vérifie désormais, dans toutes les langues, qu’une date écrite en toutes lettres conserve son mois.
• 17 octobre 2026: Le contrôle des traductions accepte désormais un milliard écrit sous la forme de mille millions, usage courant en espagnol, en italien et en polonais, à condition que la valeur soit la même.