Sofya dostraja modele Llama, aby odciążyć lekarzy z papierkowej roboty w Brazylii

Problem

Lekarze spędzają dużą część dnia na papierkowej robocie związanej z elektroniczną dokumentacją medyczną zamiast z pacjentami. Sofya, brazylijska firma AI dla ochrony zdrowia, chciała oddać ten czas lekarzom i szpitalom w Brazylii i Ameryce Łacińskiej.

Co zbudowano

Sofya zbudowała zestaw narzędzi AI dla placówek ochrony zdrowia. Narzędzia porządkują dane z wizyt, rozpoznają nazwane elementy w tekstach klinicznych i odpowiadają na pytania. Strona studium przypadku Llama opisuje asystenta klinicznego, który prowadzi lekarzy przez zbieranie wywiadu z pacjentem, sygnalizuje niepokojące kwestie i pomaga przygotować plany opieki. Llama to rodzina modeli Meta o otwartych wagach (open-weight), czyli takich, których pliki można pobrać i uruchomić na własnych serwerach.

Jak to zrobiono

Sofya użyła Llama 3.1 405B, największego modelu, w roli nauczyciela. Wygenerował on wysokiej jakości syntetyczne dane treningowe, z użyciem techniki zwanej destylacją wiedzy oraz promptów do autorefleksji. Następnie Sofya dostroiła na tych danych mniejsze modele Llama: 70B, 8B i 3B. Dostrajanie oznacza dalsze trenowanie istniejącego modelu na własnych przykładach. Mniejsze modele odpowiadają wystarczająco szybko do pracy w czasie rzeczywistym. Modele działają na instancjach Oracle Cloud hostowanych w Brazylii, co Sofya opisuje jako dodatkowe zabezpieczenie. Sofya planuje też agenta Llama 70B korzystającego z narzędzi i wyszukiwania informacji, którego nie opisano jako działającego.

Wyniki

Sofya podaje skrócenie czasu poświęcanego na dokumentację i zadania administracyjne nawet o 30 % na wizytę oraz średni CSAT na poziomie 90 %. Twierdzi, że placówki widzą lepsze procesy pracy i lepszą opiekę nad pacjentami oraz że Llama przyniosła oszczędności i wyższą trafność, ale nie podaje dla nich liczb.