Standard di evidenza

Il nostro standard di evidenza

Lumiary documenta l'IA che organizzazioni reali usano, così potete imparare da ciò che ha funzionato e da ciò che non ha funzionato. Questa pagina espone le regole che ogni caso deve rispettare. Sono le regole che la nostra pipeline di ricerca segue, e le pubblichiamo perché possiate chiederci conto del loro rispetto.

Chi fa il lavoro

Agenti di IA ricercano, scrivono, verificano e traducono ogni caso. Sono modelli linguistici che facciamo operare con istruzioni scritte, e questa pagina ne riassume il contenuto.

Un agente distinto, che non ha scritto il caso, controlla ogni dato rispetto alla sua fonte prima della pubblicazione. Apre di persona ogni fonte e verifica ogni dato, data, nome di modello e affermazione. Ciò che non riesce a confermare viene eliminato, oppure il caso viene scartato.

I nuovi casi vengono pubblicati a lotti, e un lotto va online solo dopo che ha superato tutti i controlli automatici.

Quali casi vengono accettati

Pubblichiamo un caso solo se valgono tutte queste condizioni:

  • Un'azienda o un ente pubblico identificato usa l'IA generativa o un modello linguistico di grandi dimensioni nelle proprie attività o nel proprio prodotto, in produzione o in un pilota con utenti reali. Il machine learning classico, come il punteggio antifrode o le previsioni senza un modello linguistico, non rientra.
  • Ha dichiarato un risultato, preferibilmente un dato come tempo risparmiato, costo, volume, accuratezza o soddisfazione. Contano come risultato anche una marcia indietro, una chiusura, una sentenza o una causa.
  • Almeno una fonte primaria che possiamo aprire e leggere per intero: il blog dell'organizzazione, un comunicato stampa, una presentazione dei risultati, un documento depositato o un intervento a una conferenza, oppure il caso di studio di un fornitore che cita il cliente per nome.
  • I suoi dati principali compaiono in una pagina che possiamo leggere, così da copiarli esattamente.

Perché scartiamo un candidato

La maggior parte dei candidati che ricerchiamo viene pubblicata, ma molti no. Nei nostri primi quattro lotti di ricerca ne abbiamo pubblicati 89 e scartati 61. I motivi più frequenti:

  • Gli unici dati sono proiezioni o risparmi attesi, non risultati misurati. Un'avvertenza non salva un dato principale che è una proiezione.
  • Non viene dichiarato alcun risultato, ma solo volumi, piani o elogi generici.
  • Nessuna fonte conferma nemmeno l'anno in cui è iniziata l'implementazione.
  • Nessuna fonte primaria che possiamo leggere: solo articoli di stampa, un articolo a pagamento o una pagina che non riusciamo ad aprire.
  • Il dato principale non si trova nella fonte a cui è attribuito.
  • Non risulta che sia IA generativa. Testo inserito in modelli fissi, per esempio, non lo è.
  • Non è un'implementazione. Un'autorità di controllo che sanziona un fornitore di modelli, o una causa sui dati di addestramento, è una notizia sull'IA, non il caso di un'organizzazione che la usa.
  • Duplica un caso che abbiamo già. Una fonte più recente sulla stessa implementazione aggiorna quel caso.
  • Prima di scartare un candidato per mancanza di prove, l'agente deve eseguire almeno tre ricerche mirate, tra cui la sala stampa dell'organizzazione e, per le società quotate, i materiali sugli utili o la relazione annuale, e deve cercare anche nella lingua locale.

Come viene verificato ogni caso

L'agente verificatore considera ogni bozza sbagliata finché non l'ha controllata. Questo agente:

  • Apre di persona ogni fonte, senza affidarsi agli appunti di chi ha scritto.
  • Conferma che ogni dato compaia nella fonte citata con lo stesso numero, la stessa unità e lo stesso qualificatore, come circa, fino a o più di.
  • Conferma che una fonte indichi il modello e il suo fornitore. Se nessuna lo fa, il caso dice che il modello non è reso noto. Non deduciamo mai un modello da una partnership.
  • Controlla ogni data rispetto alla pagina ed elimina qualsiasi data che la pagina non riporta.
  • Elimina ogni frase del riassunto o del testo che nessuna fonte sostiene, e verifica che nessuna frase sia copiata da una fonte.
  • Verifica che il livello di evidenza non sia sopravvalutato.
  • Scarta il caso se un dato principale non può essere confermato, se nessuna fonte primaria è leggibile o se il caso non rispetta le regole di ammissione. Non attenua un dato non confermato con parole più vaghe.
  • Ogni caso supera poi un validatore automatico: campi e sezioni obbligatori, una fonte per ogni dato e dati scritti con la notazione inglese.

Livelli di evidenza

Ogni caso ha una sola etichetta, così vedete chi sostiene i suoi dati. L'etichetta descrive le fonti, non la nostra opinione sul risultato.

Confermato da fonti indipendenti
Una testata indipendente, un documento certificato o un atto giudiziario conferma l'implementazione o i suoi dati. Esempio: Air Canada ritenuta responsabile per il consiglio sbagliato del chatbot sulle tariffe per lutto
Dichiarato dall'azienda
Lo dichiara l'azienda stessa, in un post sul blog, in un comunicato stampa, in una presentazione dei risultati o in un intervento pubblico. Non confermato da fonti indipendenti. Esempio: Klarna usa un assistente basato su OpenAI per l'assistenza clienti, poi reintroduce le persone
Dichiarato dal fornitore
Un caso di studio di un fornitore cita il cliente per nome. È utile, ma il fornitore ha interesse a presentare bene i risultati. Esempio: Edgeless Systems esegue Llama 70B in un cloud cifrato per le aziende regolamentate e dichiara risparmi del 50%

Come trattiamo i dati

  • Ogni dato rimanda alla fonte che lo dichiara.
  • Copiamo i dati esattamente come li scrive la fonte, con i loro qualificatori e le loro unità. Non arrotondiamo, convertiamo, calcoliamo né combiniamo mai i dati, che provengano da una fonte o da più fonti.
  • L'etichetta di ogni dato dice che cosa è stato misurato, su quale ambito e in quale periodo, nei limiti di quanto dice la fonte.
  • Se una fonte scrive un dato con la notazione di un'altra lingua, nel caso in inglese lo scriviamo con la notazione inglese e ne manteniamo la formulazione.
  • Se il modello non è reso noto, lo diciamo.

Come trattiamo le date

  • Usiamo solo date riportate nelle fonti. Non deduciamo mai una data e non usiamo mai la data in cui abbiamo letto una pagina.
  • Se le fonti indicano solo l'anno, il caso mostra solo l'anno. Non scegliamo un mese.
  • Se una pagina di una fonte non è datata, lasciamo vuota la sua data. La data di una copia d'archivio o un avviso di copyright non è una data di pubblicazione.
  • Ogni caso mostra quando l'abbiamo aggiunto e, dopo un aggiornamento, quando è stato aggiornato l'ultima volta.

Fonti e citazioni

  • Preferiamo le fonti primarie e cerchiamo una seconda fonte indipendente, come una testata giornalistica, un documento depositato o un atto giudiziario.
  • Accettiamo fonti in qualsiasi lingua. Molte organizzazioni europee pubblicano i risultati solo nella propria lingua, perciò cerchiamo in quella lingua e manteniamo il titolo della fonte nella lingua originale.
  • Non citiamo una fonte che non abbiamo potuto aprire e leggere. Un articolo disponibile solo a pagamento non può rendere ammissibile un caso. I post di LinkedIn non sono mai una fonte.
  • Se abbiamo letto una pagina tramite una copia archiviata perché la pagina attiva era bloccata o non raggiungibile, il caso lo dice.
  • Riassumiamo con parole nostre e citiamo al massimo una frase breve per caso, di meno di 15 parole, indicando chi parla.

Fallimenti e marce indietro

  • I fallimenti insegnano quanto i successi, perciò sono ammessi alle stesse condizioni: un'organizzazione identificata, un'implementazione reale e un risultato.
  • Un caso di fallimento richiede un atto di un tribunale o di un'autorità di controllo, oppure una dichiarazione dell'organizzazione stessa. Non bastano articoli di stampa basati solo su schermate.
  • Descriviamo cosa è andato storto, cosa ha fatto poi l'organizzazione e cosa le fonti non ci dicono.

Traduzioni

  • L'inglese è la copia di riferimento. Ogni caso viene ricercato, scritto e verificato in inglese.
  • Agenti di IA traducono ogni caso in francese, tedesco, spagnolo, olandese, italiano e polacco. Un agente revisore distinto per ciascuna lingua legge poi ogni traduzione per intero rispetto all'inglese.
  • Prima della pubblicazione, su ogni traduzione vengono eseguiti controlli automatici. Ogni dato deve mantenere il proprio valore, scritto secondo l'uso locale. Una data scritta in lettere deve mantenere il proprio mese. Le sezioni e il numero di dati, lezioni e avvertenze devono coincidere con l'inglese, e le fonti vengono prese dal caso in inglese senza modifiche.
  • Se una traduzione non supera un controllo, o se il caso in inglese è cambiato dopo la traduzione, il sito mostra l'originale inglese.

Rettifiche e aggiornamenti

  • Se un caso contiene un errore, o un'organizzazione ha pubblicato risultati più recenti, correggiamo o aggiorniamo il caso e ne mostriamo la data di aggiornamento.
  • Una fonte più recente su un caso esistente aggiorna quel caso. Non ne crea un secondo.

Cosa non affermiamo

  • Non sottoponiamo a revisione contabile i dati delle organizzazioni. Confermiamo che una fonte riporta un dato, non che il dato sia vero.
  • Dichiarato dall'azienda significa esattamente questo: lo afferma l'organizzazione e nessuna fonte indipendente lo ha confermato. Dichiarato dal fornitore significa che lo afferma un fornitore, e il fornitore ha interesse a presentare bene i risultati.
  • Un caso riassume ciò che era pubblico quando l'abbiamo scritto. I risultati potrebbero essere cambiati, perciò controllate le fonti e le loro date.
  • Includere un caso non significa approvare l'organizzazione, i suoi fornitori o i loro prodotti.

Criticate questo standard

Questo standard è fatto per essere messo in discussione. Se ritenete che un caso sia sbagliato, o che una di queste regole sia troppo severa, troppo permissiva o mancante, scrivete a corrections@lumiary.ai. Includete il link al caso o indicate la regola, e linkate ogni fonte. Quando una regola cambia, la modifica viene elencata qui sotto.

Modifiche a questo standard

  • : Prima pubblicazione di questo standard.
  • : La data di un'implementazione può ora essere il solo anno quando le fonti non indicano il mese. Prima, questi casi venivano scartati.
  • : Prima di scartare un candidato per mancanza di prove, gli agenti ora cercano nella lingua locale e accettano fonti primarie in quella lingua.
  • : Ora precisiamo che cosa non è un'implementazione: un'autorità di controllo, un tribunale o un critico che agisce contro un fornitore di modelli, come una sanzione per violazione della privacy, non è il caso di un'organizzazione che usa l'IA.
  • : Il controllo delle traduzioni ora conferma che una data scritta in lettere mantenga il proprio mese, in ogni lingua.
  • : Il controllo delle traduzioni ora accetta un miliardo scritto come mille milioni, la forma usuale in spagnolo, italiano e polacco, purché il valore sia lo stesso.

Esplora tutti i casi