Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Edgeless Systems
Edgeless Systems draait Llama 70B in een versleutelde cloud voor gereguleerde bedrijven en meldt 50% besparing
Edgeless Systems, een Duits beveiligingssoftwarebedrijf, bouwde Privatemode AI, een clouddienst die Meta's Llama 70B met open gewichten zo draait dat zelfs de beheerder de prompts van klanten niet kan lezen. In een casestudy van Meta meldt het bedrijf een 6 maanden snellere lancering en 50% besparing ten opzichte van AI-projecten on-premises. Alle resultaten zijn door het bedrijf zelf gerapporteerd.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
6
maanden
Snellere lancering ten opzichte van AI-projecten on-premises (zelf gerapporteerd door Edgeless Systems via Meta-casestudy)1
50%
Besparing ten opzichte van AI-implementaties on-premises (zelf gerapporteerd door Edgeless Systems via Meta-casestudy)1
duizenden
Medewerkers die op de dienst zijn aangesloten (zelf gerapporteerd door Edgeless Systems via Meta-casestudy)1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Bedrijven in sterk gereguleerde sectoren, zoals de zorg en het bankwezen, waren grotendeels uitgesloten van cloud-AI-tools. Die tools voldeden niet aan hun strikte regels voor de bescherming van gevoelige data. Het gebruikelijke alternatief was AI draaien op de eigen servers van het bedrijf, wat traag en duur is.
Wat ze bouwden
Edgeless Systems, een Duits bedrijf dat beveiligingssoftware maakt, bouwde Privatemode AI. Edgeless beschrijft het als de eerste end-to-end clouddienst voor grote taalmodellen die confidential computing gebruikt. Dat is een techniek waarbij data versleuteld blijft, ook terwijl een chip ze verwerkt. De dienst biedt een chat-app en een API die andere software kan aanroepen. Volgens het persbericht van Edgeless ging de dienst in februari 2025 live.
De dienst draait Meta's Llama 3.1 70B, later geüpgraded naar Llama 3.3 70B. Llama is een model met open gewichten: de bestanden zijn gepubliceerd, zodat een bedrijf het op een eigen platform kan draaien. Edgeless koos het omdat het open en meertalig is en zelf gehost kan worden.
Hoe ze het aanpakten
Edgeless gebruikte een gecomprimeerde (gekwantiseerde) versie van het model zodat het op één NVIDIA H100-grafische chip past, wat confidential computing vereiste. De dienst wordt gehost op bare-metalservers van Scaleway.
Een klein programma aan de kant van de klant versleutelt elke prompt en ontsleutelt elk antwoord lokaal. Op de server draait het model in een vertrouwelijke container en controleert de dienst de integriteit van elke stap. Het doel is dat prompts nooit onversleuteld zichtbaar zijn voor de cloudaanbieder of voor Edgeless.
Resultaten
Edgeless meldt via de casestudy van Meta dat bedrijven veilige AI-assistenten en chatbots 6 maanden sneller kunnen lanceren dan met AI-projecten on-premises. Het meldt ook 50% besparing ten opzichte van implementaties on-premises en zegt dat duizenden medewerkers zijn aangesloten.
Meta labelt deze resultaten als zelf gerapporteerd en niet aantoonbaar herhaalbaar. De bronnen noemen geen klanten.
Wat u kunt overnemen
Maak gegevensbescherming het uitgangspunt van het ontwerp. Als uw juristen of toezichthouders standaard cloud-AI uitsluiten, controleer dan of een confidential-computingdienst aan de regels kan voldoen voordat u zich vastlegt op een eigen infrastructuur.
Lessen voor uw project
Als de gevoeligheid van data cloud-AI blokkeert, test dan of confidential computing (hardware die data versleuteld houdt, ook tijdens de verwerking) die belemmering wegneemt voordat u betaalt voor een eigen on-premises opzet.
Kies een modelgrootte die past bij de hardware die uw beveiligingsontwerp vereist. Edgeless koos voor een gecomprimeerde Llama 70B, zodat die op één gpu draaide.
Plan modelupgrades vanaf het begin. Edgeless stapte binnen dezelfde dienst over van Llama 3.1 naar Llama 3.3.
Vraag waarmee een beweerde besparing wordt vergeleken. Hier zijn dat algemene AI-projecten on-premises, niet de gemeten kosten van één klant.
Kanttekeningen
- De enige bron van de cijfers is een casestudy van Meta die op verklaringen van Edgeless Systems is gebaseerd. Daarin staat dat de resultaten zelf gerapporteerd zijn en niet aantoonbaar herhaalbaar. Geen onafhankelijke bron bevestigt ze.
- De cijfers van 6 maanden en 50% vergelijken Privatemode AI met AI-projecten on-premises in het algemeen. De casestudy zegt niet hoe ze zijn gemeten, noch welke klanten betrokken waren.
- De casestudy heeft geen datum en noemt geen klanten. De getoonde invoeringsdatum is de lanceringsdatum uit het persbericht van Edgeless Systems, waarin staat dat Llama 3.3 bij de lancering beschikbaar was. De casestudy zegt dat er eerst een eerdere versie met Llama 3.1 was, maar geeft daarvoor geen datum.
- In deze bronnen zijn geen kosten, teamgrootte of bouwtijdlijn van Privatemode AI gepubliceerd.
Bronnen
- LLM service uses confidential computing to deliver secure cloud AI applications
Meta (Llama case studies) · Zonder datum · Casestudy van leverancier · llama.com
- Launch of Privatemode AI
Edgeless Systems · 2025-02-19 · Persbericht · edgeless.systems
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.