Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Edgeless Systems
Edgeless Systems esegue Llama 70B in un cloud cifrato per le aziende regolamentate e dichiara risparmi del 50%
Edgeless Systems, azienda tedesca di software per la sicurezza, ha creato Privatemode AI, un servizio cloud che esegue il Llama 70B a pesi aperti di Meta in modo che nemmeno l'operatore possa leggere i prompt dei clienti. In un caso di studio di Meta l'azienda dichiara un lancio più rapido di 6 mesi e risparmi del 50% rispetto ai progetti di IA on-premise. Tutti i risultati sono dichiarati dall'azienda.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
6
mesi
Lancio più rapido rispetto ai progetti di IA on-premise (dichiarato da Edgeless Systems tramite il caso di studio di Meta)1
50%
Risparmio rispetto alle implementazioni di IA on-premise (dichiarato da Edgeless Systems tramite il caso di studio di Meta)1
migliaia
Dipendenti coinvolti nel servizio (dichiarato da Edgeless Systems tramite il caso di studio di Meta)1
Cosa è servito
Le fonti non rendono noti costi, dimensioni del team e tempi.
Il problema
Le aziende di settori molto regolamentati, come sanità e banche, erano in larga parte escluse dagli strumenti di IA nel cloud. Quegli strumenti non rispettavano le loro rigide regole sulla protezione dei dati sensibili. L'alternativa abituale era eseguire l'IA sui server dell'azienda, una soluzione lenta e costosa.
Cosa hanno costruito
Edgeless Systems, azienda tedesca che produce software per la sicurezza, ha creato Privatemode AI. Edgeless lo descrive come il primo servizio cloud end-to-end per modelli linguistici di grandi dimensioni basato sul confidential computing. È una tecnica in cui i dati restano cifrati anche mentre un chip li elabora. Il servizio offre un'app di chat e un'API che altri software possono richiamare. Secondo il comunicato stampa di Edgeless, è stato lanciato a febbraio 2025.
Il servizio esegue il Llama 3.1 70B di Meta, poi aggiornato a Llama 3.3 70B. Llama è un modello a pesi aperti, cioè i suoi file sono pubblicati in modo che un'azienda possa eseguirlo sulla propria piattaforma. Edgeless lo ha scelto perché è aperto, multilingue e può essere ospitato in proprio.
Come ci sono riusciti
Edgeless ha usato una versione compressa (quantizzata) del modello per farla stare su un solo chip grafico NVIDIA H100, come richiedeva il confidential computing. Il servizio è ospitato su server bare metal di Scaleway.
Un piccolo programma lato cliente cifra ogni prompt e decifra ogni risposta in locale. Sul server il modello gira in un container confidenziale e il servizio verifica l'integrità di ogni passaggio. L'obiettivo è che i prompt non siano mai esposti in chiaro né al fornitore del cloud né a Edgeless.
Risultati
Edgeless riferisce, tramite il caso di studio di Meta, che le aziende possono lanciare assistenti e chatbot di IA sicuri 6 mesi prima rispetto ai progetti di IA on-premise. Dichiara inoltre risparmi del 50% rispetto alle implementazioni on-premise e afferma che sono stati coinvolti migliaia di dipendenti.
Meta etichetta questi risultati come dichiarati dall'azienda e non identificabili come ripetibili. Le fonti non citano alcun cliente.
Cosa replicare
Trattare la protezione dei dati come il requisito di progetto. Se i legali o le autorità di vigilanza escludono l'IA cloud standard, verificare se un servizio di confidential computing può rispettare le regole prima di impegnarsi a costruire una propria infrastruttura.
Lezioni per il vostro progetto
Se la sensibilità dei dati blocca l'IA nel cloud, verificare se il confidential computing (hardware che mantiene i dati cifrati anche mentre vengono elaborati) elimina l'ostacolo prima di investire in una soluzione on-premise.
Scegliere una dimensione del modello adatta all'hardware richiesto dal proprio progetto di sicurezza. Edgeless ha scelto un Llama 70B compresso per farlo girare su una sola GPU.
Pianificare fin dall'inizio gli aggiornamenti del modello. Edgeless è passata da Llama 3.1 a Llama 3.3 sullo stesso servizio.
Chiedere rispetto a quale base di confronto è dichiarato un risparmio. Qui sono i progetti di IA on-premise in generale, non il costo misurato di un singolo cliente.
Avvertenze
- L'unica fonte delle cifre è un caso di studio di Meta basato sulle dichiarazioni di Edgeless Systems. Precisa che i risultati sono dichiarati dall'azienda e non identificabili come ripetibili. Nessuna fonte indipendente li conferma.
- Le cifre di 6 mesi e 50% confrontano Privatemode AI con i progetti di IA on-premise in generale. Il caso di studio non spiega come siano state misurate né quali clienti siano coinvolti.
- Il caso di studio non è datato e non cita clienti. La data di distribuzione indicata è quella del lancio nel comunicato stampa di Edgeless Systems, secondo cui Llama 3.3 era disponibile al lancio. Il caso di studio afferma che una versione precedente con Llama 3.1 è arrivata prima, ma non ne indica la data.
- Queste fonti non pubblicano costi, dimensioni del team o tempi di sviluppo di Privatemode AI.
Fonti
- LLM service uses confidential computing to deliver secure cloud AI applications
Meta (Llama case studies) · Senza data · Caso di studio del fornitore · llama.com
- Launch of Privatemode AI
Edgeless Systems · 2025-02-19 · Comunicato stampa · edgeless.systems
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.