Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
Edgeless Systems
Edgeless Systems ejecuta Llama 70B en una nube cifrada para empresas reguladas y declara un ahorro del 50 %
Edgeless Systems, una empresa alemana de software de seguridad, creó Privatemode AI, un servicio en la nube que ejecuta el Llama 70B de pesos abiertos de Meta de modo que ni siquiera el operador pueda leer las consultas de los clientes. En un caso de estudio de Meta, la empresa declara un lanzamiento 6 meses más rápido y un ahorro del 50 % frente a los proyectos de IA en instalaciones propias. Todos los resultados son autodeclarados.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
6
meses
Lanzamiento más rápido frente a los proyectos de IA en instalaciones propias (autodeclarado por Edgeless Systems, a través del caso de estudio de Meta)1
50 %
Ahorro frente a los despliegues de IA en instalaciones propias (autodeclarado por Edgeless Systems, a través del caso de estudio de Meta)1
miles
Empleados incorporados al servicio (autodeclarado por Edgeless Systems, a través del caso de estudio de Meta)1
Qué requirió
Las fuentes no divulgan el coste, el tamaño del equipo ni los plazos.
El problema
Las empresas de sectores muy regulados, como la sanidad y la banca, quedaban en gran medida fuera de las herramientas de IA en la nube. Esas herramientas no cumplían sus estrictas normas de protección de datos sensibles. La alternativa habitual era ejecutar la IA en los servidores de la propia empresa, lo que es lento y caro.
Qué construyeron
Edgeless Systems, una empresa alemana de software de seguridad, creó Privatemode AI. Edgeless lo describe como el primer servicio en la nube de extremo a extremo para grandes modelos de lenguaje que usa computación confidencial. Es una técnica en la que los datos permanecen cifrados incluso mientras un chip los procesa. El servicio ofrece una aplicación de chat y una API a la que puede llamar otro software. Según el comunicado de prensa de Edgeless, se lanzó en febrero de 2025.
El servicio ejecuta el Llama 3.1 70B de Meta, actualizado después a Llama 3.3 70B. Llama es un modelo de pesos abiertos, es decir, sus archivos se publican para que una empresa pueda ejecutarlo en su propia plataforma. Edgeless lo eligió porque es abierto, multilingüe y se puede alojar por cuenta propia.
Cómo lo hicieron
Edgeless usó una versión comprimida (cuantizada) del modelo para que cupiera en un único chip gráfico NVIDIA H100, algo que exigía la computación confidencial. El servicio está alojado en servidores bare metal de Scaleway.
Un pequeño programa en el lado del cliente cifra cada consulta y descifra cada respuesta en local. En el servidor, el modelo se ejecuta dentro de un contenedor confidencial y el servicio comprueba la integridad de cada paso. El objetivo es que las consultas nunca queden expuestas en texto plano ante el proveedor de la nube ni ante Edgeless.
Resultados
Edgeless afirma, a través del caso de estudio de Meta, que las empresas pueden lanzar asistentes y chatbots de IA seguros 6 meses antes que con proyectos de IA en instalaciones propias. También declara un ahorro del 50 % frente a los despliegues en instalaciones propias y dice que se han incorporado miles de empleados («1,000s» en el original).
Meta etiqueta estos resultados como autodeclarados y no identificablemente repetibles. Las fuentes no nombran ningún cliente.
Qué replicar
Trate la protección de datos como el requisito de diseño. Si sus abogados o reguladores descartan la IA estándar en la nube, compruebe si un servicio de computación confidencial puede cumplir las normas antes de comprometerse a construir su propia infraestructura.
Lecciones para su proyecto
Si la sensibilidad de los datos impide usar IA en la nube, compruebe si la computación confidencial (hardware que mantiene los datos cifrados incluso mientras se procesan) elimina el obstáculo antes de pagar una infraestructura propia.
Elija un tamaño de modelo acorde con el hardware que exige su diseño de seguridad. Edgeless optó por un Llama 70B comprimido para que funcionara en una sola GPU.
Planifique las actualizaciones del modelo desde el principio. Edgeless pasó de Llama 3.1 a Llama 3.3 en el mismo servicio.
Pregunte con qué base de referencia se compara un ahorro declarado. Aquí son proyectos de IA en instalaciones propias en general, no el coste medido de un cliente concreto.
Salvedades
- La única fuente de las cifras es un caso de estudio de Meta basado en declaraciones de Edgeless Systems. Indica que los resultados son autodeclarados y no identificablemente repetibles. Ninguna fuente independiente los confirma.
- Las cifras de 6 meses y 50 % comparan Privatemode AI con los proyectos de IA en instalaciones propias en general. El caso de estudio no explica cómo se midieron ni qué clientes intervinieron.
- El caso de estudio no tiene fecha y no nombra clientes. La fecha de despliegue indicada es la del lanzamiento en el comunicado de prensa de Edgeless Systems, que dice que Llama 3.3 estaba disponible en el lanzamiento. El caso de estudio señala que una versión anterior con Llama 3.1 vino primero, pero no da fecha.
- Estas fuentes no publican el coste, el tamaño del equipo ni el calendario de desarrollo de Privatemode AI.
Fuentes
- LLM service uses confidential computing to deliver secure cloud AI applications
Meta (Llama case studies) · Sin fecha · Caso de estudio del proveedor · llama.com
- Launch of Privatemode AI
Edgeless Systems · 2025-02-19 · Nota de prensa · edgeless.systems
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.