Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
Edgeless Systems
Edgeless Systems fait tourner Llama 70B dans un cloud chiffré pour les entreprises réglementées et annonce 50 % d’économies
Edgeless Systems, éditeur allemand de logiciels de sécurité, a conçu Privatemode AI, un service cloud qui exécute le Llama 70B à poids ouverts de Meta de sorte que même l’exploitant ne puisse pas lire les requêtes des clients. Dans une étude de cas de Meta, l’entreprise annonce un lancement 6 mois plus rapide et 50 % d’économies par rapport aux projets d’IA sur site. Tous les résultats sont déclarés par l’entreprise.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
6
mois
Gain de temps au lancement par rapport aux projets d’IA sur site (déclaré par Edgeless Systems, via l’étude de cas de Meta)1
50 %
Économies par rapport aux déploiements d’IA sur site (déclarées par Edgeless Systems, via l’étude de cas de Meta)1
des milliers
Collaborateurs intégrés au service (déclaré par Edgeless Systems, via l’étude de cas de Meta)1
Ce que cela a demandé
Le coût, la taille de l’équipe et le calendrier ne sont pas communiqués dans les sources.
Le problème
Les entreprises des secteurs très réglementés, comme la santé et la banque, étaient largement exclues des outils d’IA dans le cloud. Ces outils ne respectaient pas leurs règles strictes de protection des données sensibles. L’alternative habituelle consistait à faire tourner l’IA sur les propres serveurs de l’entreprise, une solution lente et coûteuse.
Ce qu’ils ont construit
Edgeless Systems, une entreprise allemande de logiciels de sécurité, a conçu Privatemode AI. Edgeless le décrit comme le premier service cloud de bout en bout pour grands modèles de langage reposant sur le calcul confidentiel. Il s’agit d’une technique où les données restent chiffrées même pendant qu’une puce les traite. Le service propose une application de chat et une API que d’autres logiciels peuvent appeler. Selon le communiqué d’Edgeless, il a été lancé en février 2025.
Le service fait tourner le Llama 3.1 70B de Meta, ensuite mis à niveau vers Llama 3.3 70B. Llama est un modèle à poids ouverts, c’est-à-dire dont les fichiers sont publiés pour qu’une entreprise puisse l’exécuter sur sa propre plateforme. Edgeless l’a choisi parce qu’il est ouvert, multilingue et peut être hébergé en propre.
Comment ils s’y sont pris
Edgeless a utilisé une version compressée (quantifiée) du modèle pour qu’il tienne sur une seule puce graphique NVIDIA H100, ce qu’exigeait le calcul confidentiel. Le service est hébergé sur des serveurs bare metal de Scaleway.
Un petit programme côté client chiffre chaque requête et déchiffre chaque réponse en local. Côté serveur, le modèle s’exécute dans un conteneur confidentiel, et le service vérifie l’intégrité de chaque étape. L’objectif est que les requêtes ne soient jamais exposées en clair au fournisseur de cloud ni à Edgeless.
Résultats
Edgeless indique, par l’intermédiaire de l’étude de cas de Meta, que les entreprises peuvent lancer des assistants et des chatbots d’IA sécurisés 6 mois plus vite qu’avec des projets d’IA sur site. L’entreprise annonce aussi 50 % d’économies par rapport aux déploiements sur site et affirme que des milliers de collaborateurs ont été intégrés.
Meta présente ces résultats comme déclarés par l’entreprise et non reproductibles de façon identifiable. Les sources ne nomment aucun client.
Ce qu’il faut retenir
Faites de la protection des données le cahier des charges. Si vos juristes ou vos régulateurs écartent l’IA cloud standard, vérifiez qu’un service de calcul confidentiel peut satisfaire aux règles avant de vous engager dans la construction de votre propre infrastructure.
Enseignements pour votre projet
Si la sensibilité des données bloque le recours à l’IA dans le cloud, vérifiez si le calcul confidentiel (une technologie matérielle qui garde les données chiffrées même pendant leur traitement) lève l’obstacle avant de financer une infrastructure sur site.
Choisissez une taille de modèle adaptée au matériel qu’exige votre architecture de sécurité. Edgeless a retenu un Llama 70B compressé afin qu’il tienne sur un seul GPU.
Prévoyez dès le départ les mises à niveau du modèle. Edgeless est passé de Llama 3.1 à Llama 3.3 sur le même service.
Demandez à quelle référence se compare une économie annoncée. Ici, il s’agit de projets d’IA sur site en général, et non du coût mesuré chez un client précis.
Réserves
- La seule source des chiffres est une étude de cas de Meta fondée sur les déclarations d’Edgeless Systems. Elle précise que les résultats sont déclarés par l’entreprise et non reproductibles de façon identifiable. Aucune source indépendante ne les confirme.
- Les chiffres de 6 mois et de 50 % comparent Privatemode AI aux projets d’IA sur site en général. L’étude de cas n’indique ni comment ils ont été mesurés, ni quels clients sont concernés.
- L’étude de cas n’est pas datée et ne nomme aucun client. La date de déploiement indiquée est celle du lancement dans le communiqué d’Edgeless Systems, qui précise que Llama 3.3 était disponible dès le lancement. L’étude de cas indique qu’une version antérieure sous Llama 3.1 l’a précédée, sans en donner la date.
- Aucun coût, aucune taille d’équipe ni aucun calendrier de développement de Privatemode AI ne sont publiés dans ces sources.
Sources
- LLM service uses confidential computing to deliver secure cloud AI applications
Meta (Llama case studies) · Sans date · Étude de cas de l’éditeur · llama.com
- Launch of Privatemode AI
Edgeless Systems · 2025-02-19 · Communiqué de presse · edgeless.systems
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.