Nasz standard dowodowy

Kto wykonuje pracę

Agenci AI badają, piszą, weryfikują i tłumaczą każdy przypadek. To modele językowe, które uruchamiamy z pisemnymi instrukcjami, a ta strona streszcza ich treść.

Odrębny agent, który nie pisał przypadku, sprawdza każdą liczbę ze źródłem przed publikacją. Sam otwiera każde źródło i potwierdza każdą liczbę, datę, nazwę modelu i twierdzenie. To, czego nie potrafi potwierdzić, zostaje usunięte albo przypadek jest odrzucany.

Nowe przypadki publikujemy partiami, a partia trafia na stronę dopiero po przejściu wszystkich automatycznych kontroli.

Co się kwalifikuje

Publikujemy przypadek tylko wtedy, gdy spełnione są wszystkie poniższe warunki:

• Wskazana z nazwy firma lub instytucja publiczna używa generatywnej AI lub dużego modelu językowego we własnej działalności lub produkcie, na produkcji albo w pilotażu z prawdziwymi użytkownikami. Klasyczne uczenie maszynowe, takie jak scoring nadużyć czy prognozowanie bez modelu językowego, się nie liczy.
• Podała wynik, najlepiej w postaci liczby, takiej jak zaoszczędzony czas, koszt, wolumen, trafność lub zadowolenie. Za wynik uznajemy też wycofanie rozwiązania, jego zamknięcie, wyrok lub pozew.
• Co najmniej jedno źródło pierwotne, które możemy otworzyć i przeczytać w całości: własny blog organizacji, komunikat prasowy, telekonferencja wynikowa, dokument złożony w urzędzie lub wystąpienie na konferencji albo studium przypadku dostawcy, które wymienia klienta z nazwy.
• Jego główne liczby występują na stronie, którą możemy przeczytać, dzięki czemu możemy je przepisać dokładnie.

Dlaczego odrzucamy kandydata

Większość badanych kandydatów publikujemy, ale wielu nie. W naszych pierwszych czterech partiach badawczych opublikowaliśmy 89 i odrzuciliśmy 61. Najczęstsze powody:

• Jedyne liczby to prognozy lub oczekiwane oszczędności, a nie zmierzone wyniki. Zastrzeżenie nie ratuje głównej liczby, która jest prognozą.
• Nie podano żadnego wyniku, tylko wolumeny, plany lub ogólne pochwały.
• Żadne źródło nie potwierdza nawet roku rozpoczęcia wdrożenia.
• Brak źródła pierwotnego, które możemy przeczytać: tylko doniesienia prasowe, artykuł za paywallem lub strona, której nie możemy otworzyć.
• Głównej liczby nie ma w źródle, do którego jest przypisana.
• Nie wykazano, że to generatywna AI. Tekst wstawiany do stałych szablonów, na przykład, nią nie jest.
• To nie jest wdrożenie. Regulator nakładający karę na dostawcę modelu albo pozew dotyczący danych treningowych to wiadomość o AI, a nie przypadek organizacji, która z niej korzysta.
• Powiela przypadek, który już mamy. Nowsze źródło o tym samym wdrożeniu aktualizuje ten przypadek.
• Zanim agent odrzuci kandydata z powodu braku dowodów, musi wykonać co najmniej trzy celowane wyszukiwania, w tym w serwisie prasowym organizacji oraz, w przypadku spółek giełdowych, w materiałach o wynikach lub raporcie rocznym, a także musi szukać w języku lokalnym.

Jak weryfikujemy każdy przypadek

Agent weryfikujący uznaje każdy szkic za błędny, dopóki go nie sprawdzi. Agent ten:

• Sam otwiera każde źródło, zamiast polegać na notatkach autora.
• Potwierdza, że każda liczba występuje w przywołanym źródle z tą samą wartością, jednostką i zastrzeżeniem, takim jak około, do lub ponad.
• Potwierdza, że źródło podaje model i jego dostawcę. Jeśli żadne tego nie robi, przypadek informuje, że model nie został ujawniony. Nigdy nie wnioskujemy o modelu z partnerstwa.
• Sprawdza każdą datę ze stroną i usuwa każdą datę, której strona nie podaje.
• Usuwa każde zdanie streszczenia lub treści, którego nie wspiera żadne źródło, i sprawdza, czy żadne zdanie nie jest skopiowane ze źródła.
• Sprawdza, czy poziom dowodów nie jest zawyżony.
• Odrzuca przypadek, jeśli jakiejkolwiek głównej liczby nie da się potwierdzić, jeśli żadne źródło pierwotne nie jest dostępne do odczytu lub jeśli przypadek nie spełnia zasad kwalifikacji. Nie łagodzi niepotwierdzonej liczby bardziej ogólnymi słowami.
• Następnie każdy przypadek przechodzi automatyczny walidator: wymagane pola i sekcje, źródło dla każdej liczby oraz liczby zapisane w notacji angielskiej.

Jak postępujemy z liczbami

• Każda liczba prowadzi do źródła, które ją podaje.
• Przepisujemy liczby dokładnie tak, jak zapisuje je źródło, wraz z zastrzeżeniami i jednostkami. Nigdy nie zaokrąglamy, nie przeliczamy, nie obliczamy ani nie łączymy liczb, czy to z jednego źródła, czy z kilku.
• Etykieta każdej liczby mówi, co zmierzono, w jakim zakresie i okresie, o ile podaje to źródło.
• Jeśli źródło zapisuje liczbę w notacji innego języka, w angielskim przypadku zapisujemy ją w notacji angielskiej i zachowujemy jej sformułowanie.
• Jeśli model nie został ujawniony, mówimy o tym.

Jak postępujemy z datami

• Używamy wyłącznie dat podanych w źródłach. Nigdy nie wnioskujemy o dacie i nigdy nie używamy daty, w której przeczytaliśmy stronę.
• Jeśli źródła podają tylko rok, przypadek pokazuje tylko rok. Nie wybieramy miesiąca.
• Jeśli strona źródła nie ma daty, zostawiamy jej datę pustą. Data zapisu w archiwum i nota o prawach autorskich nie są datą publikacji.
• Każdy przypadek pokazuje, kiedy go dodaliśmy, a po aktualizacji także, kiedy ostatnio go zaktualizowano.

Źródła i cytaty

• Preferujemy źródła pierwotne i szukamy niezależnego drugiego źródła, takiego jak serwis informacyjny, dokument złożony w urzędzie lub dokument sądowy.
• Przyjmujemy źródła w każdym języku. Wiele europejskich organizacji publikuje wyniki tylko we własnym języku, więc szukamy w nim i zachowujemy tytuł źródła w oryginale.
• Nie przywołujemy źródła, którego nie mogliśmy otworzyć i przeczytać. Artykuł dostępny tylko za paywallem nie może zakwalifikować przypadku. Wpisy z LinkedIn nigdy nie są źródłem.
• Jeśli czytaliśmy stronę przez zarchiwizowaną kopię, ponieważ aktualna strona była zablokowana lub niedostępna, przypadek o tym informuje.
• Streszczamy własnymi słowami i cytujemy najwyżej jedno krótkie zdanie na przypadek, krótsze niż 15 słów, ze wskazaniem autora wypowiedzi.

Porażki i wycofania

• Porażki uczą tyle samo co sukcesy, więc kwalifikują się na tych samych warunkach: wskazana z nazwy organizacja, prawdziwe wdrożenie i wynik.
• Przypadek porażki wymaga dokumentu sądu lub regulatora albo własnego oświadczenia organizacji. Same doniesienia prasowe oparte na zrzutach ekranu nie wystarczą.
• Opisujemy, co poszło nie tak, co organizacja zrobiła potem i czego źródła nam nie mówią.

Tłumaczenia

• Angielski jest wersją wzorcową. Każdy przypadek jest badany, pisany i weryfikowany po angielsku.
• Agenci AI tłumaczą każdy przypadek na francuski, niemiecki, hiszpański, niderlandzki, włoski i polski. Następnie odrębny agent recenzujący dla każdego języka czyta każde tłumaczenie w całości, porównując je z angielskim.
• Przed publikacją każde tłumaczenie przechodzi automatyczne kontrole. Każda liczba musi zachować swoją wartość, zapisaną według lokalnych zasad. Data zapisana słowami musi zachować miesiąc. Sekcje oraz to, ile jest liczb, wniosków i zastrzeżeń, muszą być zgodne z angielskim, a źródła są przejmowane z angielskiego przypadku bez zmian.
• Jeśli tłumaczenie nie przejdzie kontroli albo angielski przypadek zmienił się od czasu tłumaczenia, strona pokazuje angielski oryginał.

Sprostowania i aktualizacje

• Jeśli przypadek zawiera błąd lub organizacja opublikowała nowsze wyniki, poprawiamy lub aktualizujemy przypadek i pokazujemy na nim datę aktualizacji.
• Nowsze źródło o istniejącym przypadku aktualizuje ten przypadek. Nie tworzy drugiego.

Czego nie twierdzimy

• Nie audytujemy liczb podawanych przez organizacje. Potwierdzamy, że źródło podaje liczbę, a nie że liczba jest prawdziwa.
• Zgłoszone przez firmę znaczy dokładnie to: mówi to organizacja, a żadne niezależne źródło tego nie potwierdziło. Zgłoszone przez dostawcę znaczy, że mówi to dostawca, a dostawca ma interes w tym, by przedstawić wyniki korzystnie.
• Przypadek streszcza to, co było publiczne, gdy go pisaliśmy. Wyniki mogły się od tego czasu zmienić, więc sprawdźcie źródła i ich daty.
• Umieszczenie przypadku nie oznacza poparcia dla organizacji, jej dostawców ani ich produktów.

Skrytykujcie ten standard

Ten standard ma być kwestionowany. Jeśli uważacie, że jakiś przypadek jest błędny albo że któraś z tych zasad jest zbyt surowa, zbyt łagodna lub brakuje jakiejś zasady, napiszcie na corrections@lumiary.ai. Dołączcie link do przypadku lub wskażcie zasadę i podlinkujcie każde źródło. Gdy zasada się zmienia, zmiana jest wymieniona poniżej.

Zmiany w tym standardzie

• 17 października 2026: Pierwsza publikacja tego standardu.
• 17 października 2026: Data wdrożenia może teraz być samym rokiem, gdy źródła nie podają miesiąca. Wcześniej takie przypadki były odrzucane.
• 17 października 2026: Zanim agenci odrzucą kandydata z powodu braku dowodów, szukają teraz w języku lokalnym i przyjmują źródła pierwotne w tym języku.
• 17 października 2026: Określamy teraz, co nie jest wdrożeniem: regulator, sąd lub krytyk działający przeciwko dostawcy modelu, na przykład kara za naruszenie prywatności, to nie przypadek organizacji używającej AI.
• 17 października 2026: Kontrola tłumaczeń potwierdza teraz, że data zapisana słowami zachowuje miesiąc, w każdym języku.
• 17 października 2026: Kontrola tłumaczeń przyjmuje teraz miliard zapisany jako tysiąc milionów, co jest zwykłą formą w hiszpańskim, włoskim i polskim, o ile wartość jest taka sama.