Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał

Zgłoszone przez firmęDziała od 2024Dodano paź 2026

University Medical Center Freiburg (Eye Center)

Uniwersytecka klinika okulistyczna we Fryburgu testuje własną AI, która podpowiada zakończenia wypisów

Lekarze uniwersyteckiej kliniki okulistycznej we Fryburgu użyli modelu językowego o 7 miliardach parametrów, wytrenowanego na wypisach własnego szpitala i działającego na jego serwerach, by podpowiadał końcową część wypisów. W 12-miesięcznej próbie z udziałem 27 lekarzy w trakcie specjalizacji użytkownicy poprawili szybkość pisania bardziej niż osoby niekorzystające, a liczba próśb o poprawki wśród użytkowników nieco spadła.

Kluczowe liczby

Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.

39,5

± 20,2 wobec 46,7 ± 19,5 WPM

Szybkość pisania klinicystów korzystających z AI, przed i po (słowa na minutę, średnia ± odchylenie standardowe)1

41,8

± 20,3 wobec 44,4 ± 20,0 WPM

Szybkość pisania grupy kontrolnej, przed i po (słowa na minutę, średnia ± odchylenie standardowe)1

p = 0,045

Test statystyczny, czy wydajność poprawiła się bardziej u użytkowników AI niż w grupie kontrolnej (interakcja grupy i ekspozycji)1

z 1,36 ± 0,14 do 1,26 ± 0,08

Poprawki żądane przez starszych lekarzy na dokument, użytkownicy AI, przed i po (średnia ± odchylenie standardowe)1

Ile to kosztowało

KosztNie ujawniono
ZespółW badaniu wzięło udział 27 lekarzy w trakcie specjalizacji1
Harmonogram12-miesięczne badanie, od 30 stycznia 2024 r. do 5 lutego 2025 r., po 4-miesięcznym okresie bazowym1

Problem

Lekarze szpitalni spędzają dużą część czasu pracy w elektronicznej dokumentacji medycznej. Spora część pisania odbywa się po godzinach. W uniwersyteckiej klinice okulistycznej we Fryburgu lekarze w trakcie specjalizacji piszą końcową część każdego wypisu po wizycie, a starsi lekarze ją sprawdzają i w razie potrzeby odsyłają do poprawy. Klinika chciała zmniejszyć nakład pracy przy pisaniu, nie dodając pracy przy kontroli.

Co zbudowano

Zespół zbudował w systemie dokumentacji kliniki asystenta w stylu autouzupełniania. Gdy lekarz pisze końcową część wypisu, system podsuwa następne jedno lub dwa zdania szarym tekstem. Lekarz przyjmuje je jednym klawiszem albo pisze dalej, by je nadpisać. Narzędzie włączano polem wyboru.

Asystent to model językowy o około 7 miliardach parametrów, nazwany BLOOM-CLP-German, dostosowany do kliniki lekką metodą strojenia (QLoRA) na około 80 000 zanonimizowanych dawnych wypisów z tego samego szpitala. Jako wejścia używa wyłącznie istniejącej dokumentacji pacjenta.

Jak to zrobiono

Klinika przeprowadziła nierandomizowaną próbę kontrolowaną, co oznacza, że lekarze sami wybierali, czy używać narzędzia. Po 4-miesięcznym okresie bazowym nastąpiła faza próbna w całym oddziale, a potem porównanie klinicystów, którzy nadal z niego korzystali, z tymi, którzy nie korzystali. Badanie trwało od 30 stycznia 2024 r. do 5 lutego 2025 r. i objęło 27 lekarzy w trakcie specjalizacji oraz 15 615 dokumentów. Trening i użycie odbywały się na serwerach szpitala. Badanie miało zgodę komisji etycznej, a uczestnicy wyrazili zgodę.

Szybkość pisania mierzono jako aktywny czas edycji w systemie dokumentacji, przeliczony na słowa na minutę. Jakość śledzono przez liczbę poprawek żądanych przez starszych lekarzy na dokument.

Wyniki

Jedenastu klinicystów używało AI w 44,7–89,5 % swojej dokumentacji. Ich szybkość pisania wzrosła z 39,5 do 46,7 słowa na minutę, wobec 41,8 do 44,4 w grupie kontrolnej. Model statystyczny uznał różnicę w poprawie za istotną (p = 0,045).

Liczba próśb o poprawki na dokument spadła u użytkowników AI z 1,36 do 1,26, a w grupie kontrolnej wynosiła 1,27 i 1,23. Autorzy nie podają istotnej różnicy między grupami w poprawkach, ale wnioskują, że obciążenie kontrolą nie wzrosło. Średnio lekarze przyjęli 30,9 % sugestii.

Co warto powtórzyć

Zacznijcie od wąskiej, dobrze określonej części dokumentu, zostawcie człowieka jako autora i zachowajcie dotychczasowy etap kontroli, by widzieć, czy jakość się utrzymuje. Przeprowadźcie próbę w prawdziwych procesach, w prawdziwym systemie dokumentacji, i mierzcie zarówno szybkość, jak i poprawki.

Wszystkie zgłoszone liczby

MiaraLiczbaPrzypis
Szybkość pisania klinicystów korzystających z AI, przed i po (słowa na minutę, średnia ± odchylenie standardowe)39,5 ± 20,2 wobec 46,7 ± 19,5 WPM1
Szybkość pisania grupy kontrolnej, przed i po (słowa na minutę, średnia ± odchylenie standardowe)41,8 ± 20,3 wobec 44,4 ± 20,0 WPM1
Test statystyczny, czy wydajność poprawiła się bardziej u użytkowników AI niż w grupie kontrolnej (interakcja grupy i ekspozycji)p = 0,0451
Poprawki żądane przez starszych lekarzy na dokument, użytkownicy AI, przed i po (średnia ± odchylenie standardowe)z 1,36 ± 0,14 do 1,26 ± 0,081
Poprawki żądane na dokument, grupa kontrolna, przed i po (średnia ± odchylenie standardowe)1,27 ± 0,16 wobec 1,23 ± 0,121
Średni odsetek sugestii AI przyjętych w całości lub w części (zakres od 0,02 % do 100 % wśród klinicystów)30,9 %1

Wnioski dla Twojego projektu

  1. Podpowiadajcie, nie piszcie za lekarza. Narzędzie podsuwało tylko jedno lub dwa zdania szarym tekstem, które lekarze mogli przyjąć lub nadpisać, więc zachowywali kontrolę nad każdym listem.

  2. Zachowajcie dotychczasową kontrolę. Starsi lekarze nadal sprawdzali każdy list, dzięki czemu klinika mogła obserwować jakość, testując szybkość.

  3. Wykorzystajcie dane, które już macie. Model potrzebuje na wejściu tylko dokumentacji pacjenta, bez nagrań audio z wizyt.

  4. Warto spodziewać się nierównego wykorzystania. Przyjmowanie sugestii wahało się od 0,02 % do 100 %, a 13 z 27 klinicystów przestało korzystać po pierwszej próbie, więc mierzcie wykorzystanie, a nie tylko szybkość.

  5. Trzymajcie dane pacjentów we własnych rękach. Trening i użycie odbywały się na serwerach szpitala, co według autorów pozwoliło uniknąć przekazywania danych osobom trzecim.

Zastrzeżenia

  • To recenzowany artykuł naukowy autorów z Fryburga o ich własnej klinice. Żadne niezależne medium nie potwierdza liczb, więc przypadek opiera się na danych podanych przez samą organizację.
  • Lekarze sami wybierali, czy używać narzędzia, więc grupy mogą różnić się w sposób, którego badanie nie mogło zmierzyć. Autorzy zauważają, że użytkownicy AI zaczynali od niższej szybkości pisania i mieli bardziej pozytywne nastawienie do AI.
  • Spadek liczby poprawek zaobserwowano tylko w grupie korzystającej z AI. Autorzy nie podają statystycznie istotnej różnicy między grupami w liczbie poprawek.
  • Wynik dotyczący szybkości ma wartość p równą 0,045, bliską zwykłemu progowi 0,05. Autorzy piszą, że wyników nie należy traktować jako dowodu, że modele językowe są gotowe do nieograniczonego użycia klinicznego.
  • Badanie obejmuje tylko końcową część wypisów i tylko lekarzy w trakcie specjalizacji z jednej kliniki.
  • Artykuł podaje okres badania (styczeń 2024 r. do luty 2025 r.) z 4-miesięcznym okresem bazowym przed włączeniem AI, ale nie podaje dokładnej daty uruchomienia. Dlatego data wdrożenia jest pokazana tylko jako rok.
  • Grupa kontrolna: 16 z 27 klinicystów, w tym 13, którzy wypróbowali AI i przestali. Streszczenie artykułu podaje 17 osób w grupie kontrolnej i 11 użytkowników AI, a część z wynikami 16 osób w grupie kontrolnej i 11 użytkowników AI.
  • Artykuł odsyła do wcześniejszej publikacji w sprawie rozwoju i oceny modelu. Ten przypadek opiera się wyłącznie na artykule o próbie, który opisuje użycie w działającym systemie dokumentacji na prawdziwych dokumentach.

Źródła

Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.