Szpital uniwersytecki w Magdeburgu uruchamia Llama 3.2-Vision na własnym serwerze dla 322 pracowników

Problem

Pracownicy szpitala już korzystali z publicznych chatbotów AI do pisania i wyszukiwania informacji. Szpitale przetwarzają wrażliwe dane osobowe, a przesyłanie ich do zewnętrznej usługi może kolidować z przepisami o ochronie danych. Data Integration Center w University Medicine Magdeburg chciało narzędzia, z którego personel mógłby korzystać bez wysyłania danych poza budynek.

Co zbudowano

Centrum zbudowało platformę czatu z AI na Llama 3.2-Vision 90B, otwartym modelu firmy Meta. Otwarte wagi oznaczają, że pliki modelu są publicznie dostępne, więc organizacja może uruchomić go na własnym sprzęcie. Model odczytuje tekst i obrazy. Platforma ruszyła 3 marca 2025 roku dla personelu administracyjnego, medycznego i badawczego.

Działa na jednym serwerze należącym do szpitala, z układem graficznym NVIDIA H100 (80 GB pamięci). Artykuł podaje 25,3 tokenu wyjściowego na sekundę. Token to niewielki fragment słowa.

Jak to zrobiono

Zespół ogłosił platformę przez szpitalną listę mailingową, a pracownicy rejestrowali się, podając swoją jednostkę organizacyjną. Dwa miesiące po starcie wysłał zarejestrowanym użytkownikom ankietę online z dziesięcioma pytaniami, otwartą przez 26 dni, z dwoma przypomnieniami. Pytała o częstotliwość korzystania, zadania, zadowolenie i tygodniową oszczędność czasu. Badanie zwolniono z zatwierdzenia przez komisję etyczną, ponieważ nie obejmowało interwencji ani wrażliwych informacji.

Wyniki

Spośród 322 zarejestrowanych użytkowników w ankiecie wzięło udział 98 osób, a 91 udzieliło kompletnych odpowiedzi. Streszczenie artykułu podaje, że 44 % (40 osób) oszczędzało co najmniej 30 minut pracy tygodniowo. Niezawodność i szybkość oceniło wysoko 70,3 %, a jakość odpowiedzi 60,4 %. Większość respondentów (85,7 %) potrzebowała mniej niż 15 minut, by zacząć.

Korzystanie różniło się w zależności od stanowiska. Personel medyczny i badawczy używał platformy częściej niż administracja, i to do zadań twórczych i analitycznych.

Co poszło nie tak

Najczęstsza krytyka, zgłoszona przez 37,4 % respondentów, dotyczyła jakości odpowiedzi. Około jedna trzecia tych komentarzy (12 z 34) wspominała o błędnych odpowiedziach, takich jak zmyślone odniesienia. Respondenci prosili też o wgrywanie plików, opcje eksportu, dokumentację i szkolenia oraz integrację z szpitalnym systemem informatycznym.

Co warto powtórzyć

Warto przeprowadzić krótką ankietę wkrótce po starcie i wykorzystać ją do decyzji o szkoleniach, funkcjach i grupach pracowników, do których skierować się w następnej kolejności.