Sofya passt Llama-Modelle an, um Ärzten in Brasilien Schreibarbeit abzunehmen

Das Problem

Ärzte verbringen einen großen Teil ihres Tages mit der Schreibarbeit für elektronische Patientenakten statt mit Patienten. Sofya, ein brasilianisches KI-Unternehmen für das Gesundheitswesen, wollte Ärzten und Krankenhäusern in Brasilien und Lateinamerika diese Zeit zurückgeben.

Was sie gebaut haben

Sofya hat eine Reihe von KI-Werkzeugen für Leistungserbringer entwickelt. Die Werkzeuge strukturieren Daten aus Konsultationen, erkennen benannte Elemente in klinischen Texten und beantworten Fragen. Die Llama-Fallstudie beschreibt einen klinischen Assistenten, der Ärzte durch die Anamnese führt, auf Auffälligkeiten hinweist und beim Entwurf von Behandlungsplänen hilft. Llama ist die Modellfamilie von Meta mit offenen Gewichten (open-weight), das heißt, die Modelldateien lassen sich herunterladen und auf eigenen Servern betreiben.

Wie sie vorgegangen sind

Sofya nutzte Llama 3.1 405B, das größte Modell, als Lehrer. Es erzeugte hochwertige synthetische Trainingsdaten, mithilfe einer Technik namens Wissensdestillation und Prompts zur Selbstreflexion. Anschließend stimmte Sofya kleinere Llama-Modelle mit 70B, 8B und 3B mit diesen Daten feinab. Feinabstimmung bedeutet, ein bestehendes Modell mit eigenen Beispielen weiterzutrainieren. Die kleineren Modelle antworten schnell genug für den Echtzeit-Einsatz. Die Modelle laufen auf Oracle-Cloud-Instanzen in Brasilien, was Sofya als zusätzliche Sicherheitsmaßnahme beschreibt. Sofya plant außerdem einen Llama-70B-Agenten, der Werkzeuge und Abruf nutzt und nicht als produktiv beschrieben wird.

Ergebnisse

Sofya berichtet von einer Verringerung des Zeitaufwands für Dokumentation und Verwaltungsaufgaben um bis zu 30 % pro Konsultation und von einem durchschnittlichen CSAT von 90 %. Nach eigenen Angaben sehen die Leistungserbringer bessere Abläufe und eine bessere Patientenversorgung, und Llama habe Kosteneinsparungen und höhere Genauigkeit gebracht, wozu es aber keine Zahlen nennt.