Sofya affina modelli Llama per ridurre la burocrazia dei medici in Brasile

Il problema

I medici dedicano gran parte della giornata alla burocrazia delle cartelle cliniche elettroniche invece che ai pazienti. Sofya, azienda brasiliana di IA per la sanità, voleva restituire quel tempo ai medici e agli ospedali del Brasile e dell'America Latina.

Cosa hanno costruito

Sofya ha realizzato un insieme di strumenti di IA per le strutture sanitarie. Gli strumenti strutturano i dati delle visite, individuano le entità nominate nei testi clinici e rispondono alle domande. La pagina del caso di studio di Llama descrive un assistente clinico che guida i medici nella raccolta dell'anamnesi, segnala elementi di attenzione e aiuta a redigere i piani di cura. Llama è la famiglia di modelli a pesi aperti (open-weight) di Meta: i file del modello possono essere scaricati ed eseguiti sui propri server.

Come ci sono riusciti

Sofya ha usato Llama 3.1 405B, il modello più grande, come insegnante. Ha generato dati di addestramento sintetici di alta qualità, con una tecnica chiamata distillazione della conoscenza insieme a prompt di autoriflessione. Sofya ha poi affinato con quei dati modelli Llama più piccoli, da 70B, 8B e 3B. Affinare significa continuare ad addestrare un modello esistente sui propri esempi. I modelli più piccoli rispondono abbastanza in fretta per l'uso in tempo reale. I modelli girano su istanze Oracle Cloud ospitate in Brasile, cosa che Sofya descrive come una misura di sicurezza in più. Sofya prevede anche un agente Llama 70B che usa strumenti e recupero di informazioni, non descritto come già attivo.

Risultati

Sofya dichiara una riduzione fino al 30% del tempo dedicato a documentazione e attività amministrative per visita e un CSAT medio del 90%. Afferma che le strutture vedono flussi di lavoro e assistenza ai pazienti migliori e che Llama ha portato risparmi sui costi e maggiore accuratezza, ma non fornisce dati su questi punti.