Belegstandard
Unser Belegstandard
Lumiary dokumentiert KI, die echte Organisationen betreiben, damit Sie aus dem lernen können, was funktioniert hat und was nicht. Diese Seite legt die Regeln fest, die jeder Fall erfüllen muss. Es sind die Regeln, denen unsere Recherche-Pipeline folgt, und wir veröffentlichen sie, damit Sie uns daran messen können.
Wer die Arbeit macht
KI-Agenten recherchieren, schreiben, prüfen und übersetzen jeden Fall. Es sind Sprachmodelle, die wir mit schriftlichen Anweisungen betreiben, und diese Seite fasst diese Anweisungen zusammen.
Ein weiterer Agent, der den Fall nicht geschrieben hat, gleicht vor der Veröffentlichung jede Zahl mit ihrer Quelle ab. Er öffnet jede Quelle selbst und bestätigt jede Zahl, jedes Datum, jeden Modellnamen und jede Aussage. Was er nicht bestätigen kann, wird entfernt, oder der Fall wird verworfen.
Neue Fälle erscheinen in Paketen, und ein Paket geht erst online, wenn alle automatischen Prüfungen bestanden sind.
Was aufgenommen wird
Wir veröffentlichen einen Fall nur, wenn alle diese Bedingungen erfüllt sind:
- Ein namentlich genanntes Unternehmen oder eine öffentliche Stelle setzt generative KI oder ein großes Sprachmodell im eigenen Betrieb oder im eigenen Produkt ein, produktiv oder in einem Pilotprojekt mit echten Nutzern. Klassisches maschinelles Lernen, etwa Betrugserkennung oder Prognosen ohne Sprachmodell, zählt nicht.
- Es hat ein Ergebnis berichtet, idealerweise eine Zahl wie eingesparte Zeit, Kosten, Volumen, Genauigkeit oder Zufriedenheit. Auch ein Rückzug, eine Einstellung, ein Urteil oder eine Klage zählt als Ergebnis.
- Mindestens eine Primärquelle, die wir öffnen und vollständig lesen können: der eigene Blog der Organisation, ihre Pressemitteilung, Ergebniskonferenz, behördliche Meldung oder ein Konferenzvortrag, oder die Fallstudie eines Anbieters, die den Kunden nennt.
- Die wichtigsten Zahlen stehen auf einer Seite, die wir lesen können, sodass wir sie exakt übernehmen können.
Warum wir einen Kandidaten verwerfen
Die meisten Kandidaten, die wir recherchieren, werden veröffentlicht, viele aber nicht. In unseren ersten vier Recherchedurchgängen haben wir 89 veröffentlicht und 61 verworfen. Die üblichen Gründe:
- Die einzigen Zahlen sind Prognosen oder erwartete Einsparungen, keine gemessenen Ergebnisse. Ein Vorbehalt rettet keine prognostizierte Kernzahl.
- Es wird kein Ergebnis berichtet, nur Volumen, Pläne oder allgemeines Lob.
- Keine Quelle belegt auch nur das Jahr, in dem der Einsatz begann.
- Keine Primärquelle, die wir lesen können: nur Presseberichte, ein kostenpflichtiger Artikel oder eine Seite, die wir nicht öffnen können.
- Die Kernzahl lässt sich in der Quelle, der sie zugeschrieben wird, nicht finden.
- Es ist nicht belegt, dass es sich um generative KI handelt. Text, der in feste Vorlagen eingesetzt wird, ist es zum Beispiel nicht.
- Es ist kein Einsatz. Eine Aufsichtsbehörde, die einen Modellanbieter bestraft, oder eine Klage wegen Trainingsdaten ist eine Nachricht über KI, kein Fall einer Organisation, die sie nutzt.
- Es ist ein Duplikat eines Falls, den wir bereits haben. Eine neuere Quelle zum selben Einsatz aktualisiert diesen Fall.
- Bevor ein Kandidat mangels Belegen verworfen wird, muss der Agent mindestens drei gezielte Suchen durchführen, darunter im Newsroom der Organisation und bei börsennotierten Unternehmen in den Ergebnis- oder Geschäftsberichten, und muss auch in der Landessprache suchen.
Wie jeder Fall geprüft wird
Der prüfende Agent behandelt jeden Entwurf als falsch, bis er ihn geprüft hat. Er:
- Öffnet jede Quelle selbst, statt sich auf die Notizen des Verfassers zu verlassen.
- Bestätigt, dass jede Zahl in der zitierten Quelle mit derselben Zahl, Einheit und demselben Vorbehalt steht, etwa rund, bis zu oder mehr als.
- Bestätigt, dass eine Quelle das Modell und seinen Anbieter nennt. Tut das keine, vermerkt der Fall, dass das Modell nicht veröffentlicht ist. Wir schließen nie aus einer Partnerschaft auf ein Modell.
- Prüft jedes Datum anhand der Seite und entfernt jedes Datum, das die Seite nicht ausweist.
- Entfernt jeden Satz in der Zusammenfassung oder im Text, den keine Quelle stützt, und prüft, dass kein Satz aus einer Quelle kopiert ist.
- Prüft, dass die Belegstufe nicht zu hoch angesetzt ist.
- Verwirft den Fall, wenn sich eine Kernzahl nicht bestätigen lässt, keine Primärquelle lesbar ist oder der Fall die Aufnahmeregeln nicht erfüllt. Er schwächt eine unbestätigte Zahl nicht zu vageren Worten ab.
- Jeder Fall durchläuft danach einen automatischen Validator: Pflichtfelder und Abschnitte, eine Quelle für jede Zahl und Zahlen in englischer Schreibweise.
Belegstufen
Jeder Fall trägt genau eine Kennzeichnung, damit Sie sehen, wer hinter den Aussagen steht. Die Kennzeichnung beschreibt die Quellen, nicht unsere Meinung zum Ergebnis.
- Unabhängig bestätigt
- Ein unabhängiges Nachrichtenmedium, eine geprüfte Unternehmensmeldung oder ein Gerichtsdokument bestätigt den Einsatz oder seine Zahlen. Beispiel: Air Canada haftet für falsche Auskunft seines Website-Chatbots zu Trauerfall-Tarifen
- Vom Unternehmen berichtet
- Das einsetzende Unternehmen sagt es selbst, in einem Blogbeitrag, einer Pressemitteilung, einer Ergebniskonferenz oder einem Vortrag. Nicht unabhängig bestätigt. Beispiel: Klarna setzt im Kundenservice einen Assistenten auf OpenAI-Basis ein und holt dann wieder Menschen zurück
- Vom Anbieter berichtet
- Die Fallstudie eines Anbieters nennt den Kunden. Nützlich, aber der Anbieter hat ein Interesse daran, Ergebnisse gut darzustellen. Beispiel: Edgeless Systems betreibt Llama 70B in verschlüsselter Cloud für regulierte Unternehmen und meldet 50 % Einsparung
Unser Umgang mit Zahlen
- Jede Zahl verlinkt auf die Quelle, die sie nennt.
- Wir übernehmen Zahlen exakt so, wie die Quelle sie schreibt, mit ihren Vorbehalten und Einheiten. Wir runden, rechnen um, berechnen oder kombinieren nie, weder aus einer noch aus mehreren Quellen.
- Die Bezeichnung jeder Zahl nennt, was gemessen wurde, in welchem Umfang und Zeitraum, soweit die Quelle es angibt.
- Wenn eine Quelle eine Zahl in der Schreibweise einer anderen Sprache angibt, schreiben wir sie im englischen Fall in englischer Schreibweise und behalten ihren Wortlaut bei.
- Wenn das Modell nicht veröffentlicht ist, sagen wir das.
Unser Umgang mit Daten
- Wir verwenden nur Daten, die in den Quellen stehen. Wir schließen nie auf ein Datum und verwenden nie das Datum, an dem wir eine Seite gelesen haben.
- Wenn die Quellen nur ein Jahr nennen, zeigt der Fall nur das Jahr. Wir wählen keinen Monat.
- Wenn eine Quellenseite kein Datum trägt, lassen wir ihr Datum leer. Das Datum einer Archivkopie oder ein Urhebervermerk ist kein Veröffentlichungsdatum.
- Jeder Fall zeigt, wann wir ihn hinzugefügt haben, und nach einer Aktualisierung, wann er zuletzt aktualisiert wurde.
Quellen und Zitate
- Wir bevorzugen Primärquellen und suchen eine unabhängige zweite Quelle, etwa ein Nachrichtenmedium, eine behördliche Meldung oder ein Gerichtsdokument.
- Wir akzeptieren Quellen in jeder Sprache. Viele europäische Organisationen veröffentlichen Ergebnisse nur in ihrer eigenen Sprache, daher suchen wir darin und behalten den Titel der Quelle in der Originalsprache bei.
- Wir zitieren keine Quelle, die wir nicht öffnen und lesen konnten. Ein Beitrag hinter einer Bezahlschranke kann keinen Fall begründen. LinkedIn-Beiträge sind nie eine Quelle.
- Wenn wir eine Seite über eine archivierte Kopie gelesen haben, weil die Live-Seite gesperrt oder offline war, vermerkt der Fall das.
- Wir fassen in eigenen Worten zusammen und zitieren höchstens einen kurzen Satz pro Fall, unter 15 Wörtern, mit Nennung der sprechenden Person.
Fehlschläge und Rückzüge
- Fehlschläge lehren ebenso viel wie Erfolge, daher werden sie unter denselben Bedingungen aufgenommen: eine namentlich genannte Organisation, ein echter Einsatz und ein Ergebnis.
- Ein Fehlschlag-Fall braucht ein Gerichts- oder Behördendokument oder die eigene Stellungnahme der Organisation. Presseberichte über bloße Screenshots genügen nicht.
- Wir beschreiben, was schiefgelaufen ist, was die Organisation danach getan hat und was die Quellen nicht verraten.
Übersetzungen
- Englisch ist die Referenzfassung. Jeder Fall wird auf Englisch recherchiert, geschrieben und geprüft.
- KI-Agenten übersetzen jeden Fall ins Französische, Deutsche, Spanische, Niederländische, Italienische und Polnische. Ein weiterer prüfender Agent pro Sprache liest danach jede Übersetzung vollständig im Vergleich zum Englischen.
- Vor der Veröffentlichung laufen automatische Prüfungen für jede Übersetzung. Jede Zahl muss ihren Wert behalten, in der landesüblichen Schreibweise. Ein ausgeschriebenes Datum muss seinen Monat behalten. Die Abschnitte sowie die Anzahl der Zahlen, Lehren und Vorbehalte müssen mit dem Englischen übereinstimmen, und die Quellen werden unverändert aus dem englischen Fall übernommen.
- Besteht eine Übersetzung eine Prüfung nicht oder wurde der englische Fall seit der Übersetzung geändert, zeigt die Website stattdessen das englische Original.
Korrekturen und Aktualisierungen
- Wenn ein Fall einen Fehler enthält oder eine Organisation neuere Ergebnisse veröffentlicht hat, korrigieren oder aktualisieren wir den Fall und zeigen das Aktualisierungsdatum an.
- Eine neuere Quelle zu einem bestehenden Fall aktualisiert diesen Fall. Sie legt keinen zweiten an.
Was wir nicht behaupten
- Wir prüfen die Zahlen der Organisationen nicht im Sinne eines Audits. Wir bestätigen, dass eine Quelle eine Zahl nennt, nicht dass die Zahl stimmt.
- „Vom Unternehmen berichtet“ bedeutet genau das: Die Organisation sagt es, und keine unabhängige Quelle hat es bestätigt. „Vom Anbieter berichtet“ bedeutet, dass ein Anbieter es sagt, und der Anbieter ein Interesse daran hat, Ergebnisse gut darzustellen.
- Ein Fall fasst zusammen, was zum Zeitpunkt des Schreibens öffentlich war. Die Ergebnisse können sich seither geändert haben, prüfen Sie daher die Quellen und ihre Daten.
- Die Aufnahme eines Falls ist keine Empfehlung der Organisation, ihrer Anbieter oder deren Produkte.
Hinterfragen Sie diesen Standard
Dieser Standard soll hinterfragt werden. Wenn Sie meinen, ein Fall sei falsch oder eine dieser Regeln zu streng, zu locker oder lückenhaft, schreiben Sie an corrections@lumiary.ai. Fügen Sie einen Link zum Fall bei oder nennen Sie die Regel, und verlinken Sie Ihre Quellen. Ändert sich eine Regel, wird die Änderung unten aufgeführt.
Änderungen an diesem Standard
- : Erstveröffentlichung dieses Standards.
- : Das Datum eines Einsatzes darf nun allein aus dem Jahr bestehen, wenn die Quellen keinen Monat nennen. Zuvor wurden solche Fälle verworfen.
- : Bevor ein Kandidat mangels Belegen verworfen wird, suchen die Agenten nun in der Landessprache und akzeptieren Primärquellen in dieser Sprache.
- : Wir legen nun fest, was kein Einsatz ist: Wenn eine Aufsichtsbehörde, ein Gericht oder Kritiker gegen einen Modellanbieter vorgehen, etwa durch ein Bußgeld wegen Datenschutzverstößen, ist das kein Fall einer Organisation, die KI nutzt.
- : Die Übersetzungsprüfung bestätigt nun in jeder Sprache, dass ein ausgeschriebenes Datum seinen Monat behält.
- : Die Übersetzungsprüfung akzeptiert nun eine Milliarde, geschrieben als tausend Millionen, die im Spanischen, Italienischen und Polnischen übliche Form, solange der Wert derselbe ist.