Sofya stemt Llama-modellen af om de administratielast van artsen in Brazilië te verlagen

Het probleem

Artsen besteden een groot deel van hun dag aan de administratie van elektronische patiëntendossiers in plaats van aan patiënten. Sofya, een Braziliaans AI-bedrijf voor de gezondheidszorg, wilde die tijd teruggeven aan artsen en ziekenhuizen in Brazilië en Latijns-Amerika.

Wat ze bouwden

Sofya bouwde een reeks AI-hulpmiddelen voor zorgaanbieders. De hulpmiddelen structureren gegevens uit consulten, herkennen benoemde items in klinische teksten en beantwoorden vragen. De Llama-casestudypagina beschrijft een klinische assistent die artsen begeleidt bij de anamnese, aandachtspunten signaleert en helpt bij het opstellen van zorgplannen. Llama is de familie van open-weight modellen (met open gewichten) van Meta, wat betekent dat de modelbestanden kunnen worden gedownload en op eigen servers kunnen draaien.

Hoe ze het aanpakten

Sofya gebruikte Llama 3.1 405B, het grootste model, als leraar. Het genereerde hoogwaardige synthetische trainingsdata, met een techniek die kennisdistillatie heet, gecombineerd met zelfreflectieprompts. Daarna stemde Sofya kleinere Llama-modellen van 70B, 8B en 3B met die data af. Afstemmen betekent een bestaand model verder trainen op uw eigen voorbeelden. De kleinere modellen reageren snel genoeg voor realtime gebruik. De modellen draaien op Oracle Cloud-instanties in Brazilië, wat Sofya beschrijft als een extra beveiligingsmaatregel. Sofya plant ook een Llama 70B-agent die hulpmiddelen en retrieval gebruikt, wat niet als live wordt beschreven.

Resultaten

Sofya meldt een afname van tot 30% in de tijd die per consult naar documentatie en administratieve taken gaat, en een gemiddelde CSAT van 90%. Het zegt dat zorgaanbieders betere werkprocessen en betere patiëntenzorg zien, en dat Llama kostenbesparingen en hogere nauwkeurigheid bracht, maar noemt hiervoor geen cijfers.