Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Edgeless Systems
Edgeless Systems uruchamia Llama 70B w szyfrowanej chmurze dla firm z regulowanych branż i podaje 50 % oszczędności
Edgeless Systems, niemiecka firma z branży oprogramowania zabezpieczającego, zbudowała Privatemode AI, usługę w chmurze, która uruchamia model Llama 70B firmy Meta o otwartych wagach tak, by nawet operator nie mógł odczytać zapytań klientów. W studium przypadku Meta firma podaje wdrożenie szybsze o 6 miesięcy i 50 % oszczędności w porównaniu z projektami AI uruchamianymi we własnej infrastrukturze. Wszystkie wyniki pochodzą od samej firmy.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
6
miesięcy
Szybsze wdrożenie w porównaniu z projektami AI we własnej infrastrukturze (dane własne Edgeless Systems, za studium przypadku Meta)1
50 %
Oszczędności w porównaniu z wdrożeniami AI we własnej infrastrukturze (dane własne Edgeless Systems, za studium przypadku Meta)1
tysiące
Pracownicy objęci usługą (dane własne Edgeless Systems, za studium przypadku Meta)1
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Firmy z silnie regulowanych branż, takich jak ochrona zdrowia i bankowość, były w dużej mierze odcięte od chmurowych narzędzi AI. Narzędzia te nie spełniały ich surowych zasad ochrony danych wrażliwych. Zwykłą alternatywą było uruchamianie AI na własnych serwerach firmy, co jest wolne i drogie.
Co zbudowano
Edgeless Systems, niemiecka firma produkująca oprogramowanie zabezpieczające, zbudowała Privatemode AI. Edgeless opisuje to jako pierwszą kompleksową usługę chmurową dla dużych modeli językowych wykorzystującą poufne przetwarzanie. To technika, w której dane pozostają zaszyfrowane, nawet gdy przetwarza je układ. Usługa oferuje aplikację czatu i API, które może wywoływać inne oprogramowanie. Według komunikatu prasowego Edgeless wystartowała w lutym 2025 roku.
Usługa uruchamia Llama 3.1 70B firmy Meta, później zaktualizowaną do Llama 3.3 70B. Llama to model o otwartych wagach, czyli jego pliki są opublikowane, tak że firma może uruchomić go na własnej platformie. Edgeless wybrała go, bo jest otwarty, wielojęzyczny i można go hostować samodzielnie.
Jak to zrobiono
Edgeless użyła skompresowanej (skwantyzowanej) wersji modelu, aby mieścił się na jednym układzie graficznym NVIDIA H100, czego wymagało poufne przetwarzanie. Usługa jest hostowana na serwerach bare metal firmy Scaleway.
Mały program po stronie klienta szyfruje każde zapytanie i lokalnie odszyfrowuje każdą odpowiedź. Na serwerze model działa w poufnym kontenerze, a usługa sprawdza integralność każdego kroku. Celem jest to, by zapytania nigdy nie były widoczne jawnym tekstem dla dostawcy chmury ani dla Edgeless.
Wyniki
Edgeless podaje za studium przypadku Meta, że firmy mogą uruchamiać bezpieczne asystenty i chatboty AI o 6 miesięcy szybciej niż w projektach AI we własnej infrastrukturze. Podaje też 50 % oszczędności w porównaniu z wdrożeniami we własnej infrastrukturze i mówi, że objęto nią tysiące pracowników.
Meta oznacza te wyniki jako pochodzące od samej firmy i niemożliwe do jednoznacznego powtórzenia. Źródła nie wymieniają żadnych klientów.
Co warto powtórzyć
Potraktujcie ochronę danych jako założenie projektowe. Jeśli wasi prawnicy lub regulatorzy wykluczają standardową chmurową AI, sprawdźcie, czy usługa poufnego przetwarzania spełni wymogi, zanim zdecydujecie się na budowę własnej infrastruktury.
Wnioski dla Twojego projektu
Jeśli wrażliwość danych blokuje chmurową AI, sprawdźcie, czy poufne przetwarzanie (sprzęt, który utrzymuje dane zaszyfrowane także w trakcie przetwarzania) usuwa tę przeszkodę, zanim zapłacicie za budowę własnej infrastruktury.
Dobierzcie rozmiar modelu do sprzętu, którego wymaga wasza koncepcja bezpieczeństwa. Edgeless wybrała skompresowany Llama 70B, aby działał na jednym procesorze graficznym.
Zaplanujcie aktualizacje modelu od początku. Edgeless przeszła w ramach tej samej usługi z Llama 3.1 na Llama 3.3.
Zapytajcie, z czym porównano deklarowane oszczędności. Tutaj są to projekty AI we własnej infrastrukturze w ogóle, a nie zmierzony koszt żadnego konkretnego klienta.
Zastrzeżenia
- Jedynym źródłem liczb jest studium przypadku Meta oparte na oświadczeniach Edgeless Systems. Zaznacza ono, że wyniki pochodzą od samej firmy i nie da się ich jednoznacznie powtórzyć. Żadne niezależne źródło ich nie potwierdza.
- Wartości 6 miesięcy i 50 % porównują Privatemode AI z projektami AI we własnej infrastrukturze w ogóle. Studium przypadku nie podaje, jak je zmierzono, ani których klientów dotyczą.
- Studium przypadku nie ma daty i nie wymienia klientów. Podana data wdrożenia to data startu z komunikatu prasowego Edgeless Systems, według którego Llama 3.3 była dostępna od początku. Studium przypadku mówi, że wcześniej działała wersja z Llama 3.1, ale nie podaje jej daty.
- W tych źródłach nie opublikowano kosztów, wielkości zespołu ani harmonogramu budowy Privatemode AI.
Źródła
- LLM service uses confidential computing to deliver secure cloud AI applications
Meta (Llama case studies) · Bez daty · Studium przypadku dostawcy · llama.com
- Launch of Privatemode AI
Edgeless Systems · 2025-02-19 · Komunikat prasowy · edgeless.systems
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.