Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Edgeless Systems
Edgeless Systems betreibt Llama 70B in verschlüsselter Cloud für regulierte Unternehmen und meldet 50 % Einsparung
Edgeless Systems, ein deutsches Sicherheitssoftware-Unternehmen, hat Privatemode AI entwickelt, einen Cloud-Dienst, der Metas Llama 70B mit offenen Gewichten so betreibt, dass nicht einmal der Betreiber die Eingaben der Kunden lesen kann. In einer Fallstudie von Meta berichtet das Unternehmen von einem um 6 Monate schnelleren Start und 50 % Einsparung gegenüber lokalen KI-Projekten. Alle Ergebnisse sind Eigenangaben.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
6
Monate
Schnellerer Start gegenüber lokalen KI-Projekten (Eigenangabe von Edgeless Systems laut Meta-Fallstudie)1
50 %
Einsparung gegenüber lokalen KI-Einführungen (Eigenangabe von Edgeless Systems laut Meta-Fallstudie)1
Tausende
Mitarbeitende, die an den Dienst angebunden wurden (Eigenangabe von Edgeless Systems laut Meta-Fallstudie)1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Unternehmen in stark regulierten Branchen wie Gesundheitswesen und Bankwesen waren von Cloud-KI-Werkzeugen weitgehend ausgeschlossen. Diese Werkzeuge erfüllten ihre strengen Vorgaben zum Schutz sensibler Daten nicht. Die übliche Alternative war, KI auf den eigenen Servern zu betreiben, was langsam und teuer ist.
Was sie gebaut haben
Edgeless Systems, ein deutsches Unternehmen für Sicherheitssoftware, hat Privatemode AI entwickelt. Edgeless beschreibt es als ersten durchgängigen Cloud-Dienst für große Sprachmodelle mit Confidential Computing. Dabei bleiben Daten verschlüsselt, auch während ein Chip sie verarbeitet. Der Dienst bietet eine Chat-App und eine API, die andere Software aufrufen kann. Laut Pressemitteilung von Edgeless ging er im Februar 2025 an den Start.
Der Dienst betreibt Metas Llama 3.1 70B, später auf Llama 3.3 70B aktualisiert. Llama ist ein Modell mit offenen Gewichten, das heißt, seine Dateien sind veröffentlicht, sodass ein Unternehmen es auf der eigenen Plattform betreiben kann. Edgeless wählte es, weil es offen und mehrsprachig ist und sich selbst hosten lässt.
Wie sie vorgegangen sind
Edgeless setzte eine komprimierte (quantisierte) Modellversion ein, damit sie auf einen einzigen NVIDIA-H100-Grafikchip passt, was Confidential Computing erforderte. Der Dienst wird auf Bare-Metal-Servern von Scaleway gehostet.
Ein kleines Programm auf Kundenseite verschlüsselt jede Eingabe und entschlüsselt jede Antwort lokal. Auf dem Server läuft das Modell in einem vertraulichen Container, und der Dienst prüft die Integrität jedes Schritts. Ziel ist, dass Eingaben dem Cloud-Anbieter und Edgeless nie im Klartext zugänglich sind.
Ergebnisse
Edgeless berichtet über die Meta-Fallstudie, dass Unternehmen sichere KI-Assistenten und Chatbots 6 Monate schneller starten können als mit lokalen KI-Projekten. Außerdem nennt das Unternehmen 50 % Einsparung gegenüber lokalen Einführungen und gibt an, dass Tausende Mitarbeitende angebunden wurden.
Meta kennzeichnet diese Ergebnisse als Eigenangaben und nicht eindeutig wiederholbar. Die Quellen nennen keine Kunden.
Was Sie übernehmen können
Machen Sie den Datenschutz zur Leitvorgabe. Wenn Ihre Juristen oder Aufsichtsbehörden Standard-Cloud-KI ausschließen, prüfen Sie, ob ein Confidential-Computing-Dienst die Vorgaben erfüllen kann, bevor Sie sich auf eine eigene Infrastruktur festlegen.
Erkenntnisse für Ihr Projekt
Wenn die Sensibilität der Daten Cloud-KI blockiert, prüfen Sie, ob Confidential Computing (Hardware, die Daten auch während der Verarbeitung verschlüsselt hält) das Hindernis beseitigt, bevor Sie in eine lokale Infrastruktur investieren.
Wählen Sie die Modellgröße passend zur Hardware, die Ihr Sicherheitskonzept verlangt. Edgeless entschied sich für ein komprimiertes Llama 70B, damit es auf einer einzigen GPU läuft.
Planen Sie Modell-Upgrades von Anfang an ein. Edgeless wechselte im selben Dienst von Llama 3.1 auf Llama 3.3.
Fragen Sie, womit eine behauptete Einsparung verglichen wird. Hier sind es allgemeine lokale KI-Projekte, nicht die gemessenen Kosten eines einzelnen Kunden.
Einschränkungen
- Einzige Quelle der Zahlen ist eine Meta-Fallstudie, die auf Aussagen von Edgeless Systems beruht. Sie bezeichnet die Ergebnisse als Eigenangaben und nicht eindeutig wiederholbar. Keine unabhängige Quelle bestätigt sie.
- Die Werte von 6 Monaten und 50 % vergleichen Privatemode AI mit lokalen KI-Projekten im Allgemeinen. Die Fallstudie sagt weder, wie sie gemessen wurden, noch welche Kunden beteiligt waren.
- Die Fallstudie ist undatiert und nennt keine Kunden. Das angegebene Einführungsdatum ist der Starttermin aus der Pressemitteilung von Edgeless Systems, laut der Llama 3.3 zum Start verfügbar war. Die Fallstudie nennt eine frühere Version mit Llama 3.1, nennt dafür aber kein Datum.
- Zu Kosten, Teamgröße oder Entwicklungszeit von Privatemode AI enthalten diese Quellen keine Angaben.
Quellen
- LLM service uses confidential computing to deliver secure cloud AI applications
Meta (Llama case studies) · Ohne Datum · Fallstudie des Anbieters · llama.com
- Launch of Privatemode AI
Edgeless Systems · 2025-02-19 · Pressemitteilung · edgeless.systems
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.