Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Western Uusimaa Wellbeing Services County
Hrabstwo Western Uusimaa testuje postedycję z GPT-4 w wewnętrznym zespole tłumaczeń dla zdrowia i opieki społecznej
Fiński Western Uusimaa Wellbeing Services County pozwolił czterem wewnętrznym tłumaczom przez cztery miesiące korzystać z GPT-4 w ich oprogramowaniu do tłumaczeń. Postedycja wyniku GPT-4 była o 14 % szybsza niż tłumaczenie od zera, ale zyski wahały się od -2 % do 102 % w zależności od tłumacza.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
o 14 % szybciej (2,75 wobec 2,40 znaku na sekundę, P = 0,03)
Szybkość postedycji wyniku GPT-4 w porównaniu z tłumaczeniem od zera, 4 tłumaczy, 908 zmierzonych segmentów1
do 37 % szybciej
Wzrost szybkości po wyrównaniu liczby segmentów między tłumaczami (analiza uzupełniająca, którą autorzy nazywają niestandardową)1
-2 % do 102 %
Rozstęp indywidualnych zmian produktywności wśród 4 tłumaczy1
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Fiński publiczny sektor zdrowia i opieki społecznej musi robić więcej za te same pieniądze. Western Uusimaa to region dwujęzyczny, więc dokumenty muszą istnieć po fińsku i szwedzku, a coraz częściej także w innych językach. Wewnętrzny zespół tłumaczy liczy cztery osoby. Hrabstwo chciało sprawdzić, czy generatywna AI może zwiększyć ich wydajność bez szkody dla jakości.
Co zbudowano
Tłumacze hrabstwa używali GPT-4, dużego modelu językowego OpenAI, przez wtyczkę w Trados, oprogramowaniu do tłumaczeń, z którego już korzystali. Wtyczka wywołuje GPT-4 przez Microsoft Azure. Dla każdego segmentu wielkości zdania proponuje tłumaczenie maszynowe, które tłumacz następnie poprawia. Nazywa się to postedycją. Wcześniej dział nie miał żadnej ustandaryzowanej praktyki korzystania z pomocy tłumaczenia maszynowego.
Jak to zrobiono
Czterech tłumaczy pracowało nad zwykłymi zleceniami od marca do czerwca 2024. Mieli przetłumaczyć od zera połowę segmentów każdego tekstu, a drugą połowę z GPT-4, przy czym metodę startową wybierano losowo. Materiały z danymi wrażliwymi lub osobowymi pominięto. W badaniu rejestrowano znaczniki czasu w Trados, by oszacować szybkość, oceniano jakość wyników czterema metrykami automatycznymi i przeprowadzono pięć wywiadów, w tym jeden z osobą kierującą zespołem.
Konfiguracja była prosta. Tłumacze używali tylko jednego promptu systemowego, którego nie mogli zobaczyć. Nie użyto baz terminologicznych ani promptów dopasowanych do zadań.
Wyniki
Postedycja wyniku GPT-4 przebiegała z szybkością 2,75 znaku na sekundę wobec 2,40 przy tłumaczeniu od zera, co autorzy podają jako o 14 % szybciej. Po wyrównaniu liczby segmentów wniesionych przez każdego tłumacza autorzy podają do 37 % szybciej. Wyniki indywidualne wahały się od -2 % do 102 %.
Jakość była zróżnicowana. Spośród wyników w parze fiński-szwedzki 11 % przyjęto bez żadnej zmiany, a w parze fiński-angielski 16 %. Tłumacze zgłaszali problemy z terminologią specjalistyczną i brakiem kontekstu narzędzia w obrębie całego dokumentu. Trzech z czterech chciało nadal korzystać z podobnego narzędzia.
Co warto powtórzyć
Przed zakupem przeprowadźcie krótką, opomiarowaną próbę na prawdziwej pracy. Mierzcie szybkość osobno dla każdej osoby, przeszkólcie zespół z postedycji i zbierzcie jego opinie o problemach z terminologią, zanim zaczniecie skalować.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Szybkość postedycji wyniku GPT-4 w porównaniu z tłumaczeniem od zera, 4 tłumaczy, 908 zmierzonych segmentów | o 14 % szybciej (2,75 wobec 2,40 znaku na sekundę, P = 0,03)1 | |
| Wzrost szybkości po wyrównaniu liczby segmentów między tłumaczami (analiza uzupełniająca, którą autorzy nazywają niestandardową) | do 37 % szybciej1 | |
| Rozstęp indywidualnych zmian produktywności wśród 4 tłumaczy | -2 % do 102 %1 | |
| Wyniki GPT-4 w parze fiński-szwedzki przyjęte bez zmian | 11 % (141/1261)1 | |
| Wyniki GPT-4 w parze fiński-angielski przyjęte bez zmian | 16 % (18/112)1 | |
| Tłumacze, którzy chcieli dalej korzystać z podobnego narzędzia AI, na podstawie 5 wywiadów (4 tłumaczy i osoba kierująca zespołem) | 3 z 41 |
Wnioski dla Twojego projektu
Warto mierzyć wyniki osobno dla każdej osoby, nie tylko średnio. Zyski wahały się od niewielkiej straty do ponad dwukrotnego wzrostu, więc średnia zespołu ukrywa, kto korzysta.
Zaplanujcie szkolenie z postedycji. Sprawdzanie i poprawianie tekstu maszynowego to inna umiejętność niż tłumaczenie, a autorzy łączą z nią wyniki.
Wcześnie usuwajcie słabe punkty narzędzia. Tłumacze wskazali niespójną terminologię i brak kontekstu dokumentu jako główne przeszkody.
Przygotujcie się na to, że pracownicy ocenią zysk niżej niż stoper. Tłumacze byli ostrożniejsi niż zmierzone dane, więc zaplanujcie zarządzanie zmianą.
Wyłączcie z próby teksty wrażliwe. Hrabstwo wykluczyło materiały zawierające dane wrażliwe lub osobowe.
Zastrzeżenia
- Źródłem jest recenzowany artykuł naukowy badaczy z LUT University, działu badań i rozwoju samego hrabstwa oraz HUS. Hrabstwo zatwierdziło badanie. Żadne inne medium nie potwierdza liczb, więc przypadek opiera się na danych podanych przez samą organizację.
- Wzięło udział tylko 4 tłumaczy, a jeden z nich wykonał 61 % zmierzonych segmentów. Autorzy piszą, że wyników nie można uogólniać.
- Czas tłumaczenia oszacowano na podstawie znaczników czasu w oprogramowaniu, z filtrami zastosowanymi przez autorów. Wartość 37 % pochodzi z analizy uzupełniającej, którą autorzy nazywają niestandardową; streszczenie mówi o wartości do 37 %, a część z wynikami o średnio 37 %.
- Strony czasopisma nie udało się odczytać bezpośrednio. Liczby sprawdzono w pełnym tekście w Europe PMC (PMC12443352), który podaje datę publikacji 17 września 2025 r.
- Data wdrożenia to początek okresu zbierania danych (marzec 2024). Artykuł nie mówi, czy narzędzie pozostało w użyciu po badaniu.
- Jakość oceniono automatycznymi metrykami względem ostatecznych wersji tłumaczy, a nie przez niezależnych recenzentów.
Źródła
- Evaluation of Generative Artificial Intelligence Implementation Impacts in Social and Health Care Language Translation: Mixed Methods Case Study
JMIR Formative Research · 2025-09-17 · Publikacja naukowa · formative.jmir.org
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.