Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Western Uusimaa Wellbeing Services County
Regio Western Uusimaa test nabewerking met GPT-4 in het eigen vertaalteam voor zorg en welzijn
De Finse regio Western Uusimaa Wellbeing Services County liet haar vier interne vertalers vier maanden lang GPT-4 gebruiken in hun vertaalsoftware. Het nabewerken van de GPT-4-uitvoer ging 14% sneller dan vertalen vanaf nul, maar de winst liep per vertaler uiteen van -2% tot 102%.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
14%
sneller (2,75 tegenover 2,40 tekens per seconde, P = 0,03)
Snelheid van het nabewerken van GPT-4-uitvoer vergeleken met vertalen vanaf nul, 4 vertalers, 908 getimede segmenten1
tot 37% sneller
Snelheidswinst wanneer de segmenten over de vertalers werden gelijkgetrokken (een aanvullende analyse die de auteurs niet-standaard noemen)1
-2% tot 102%
Bandbreedte van de individuele productiviteitsverandering bij de 4 vertalers1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
De Finse publieke zorg- en welzijnssector staat onder druk om met hetzelfde budget meer te doen. Western Uusimaa is een tweetalige regio, dus documenten moeten er in het Fins en Zweeds zijn, en steeds vaker ook in andere talen. Het interne vertaalteam telt vier mensen. De regio wilde weten of generatieve AI hun output kon verhogen zonder de kwaliteit aan te tasten.
Wat ze bouwden
De vertalers van de regio gebruikten GPT-4, een groot taalmodel van OpenAI, via een plug-in in Trados, de vertaalsoftware die ze al gebruikten. De plug-in roept GPT-4 aan via Microsoft Azure. Hij stelt voor elk segment ter grootte van een zin een machinevertaling voor, die de vertaler daarna bewerkt. Dat heet nabewerken. Voor die tijd had de afdeling geen gestandaardiseerde werkwijze voor hulpmiddelen voor machinevertaling.
Hoe ze het aanpakten
Vier vertalers werkten van maart tot en met juni 2024 aan hun gewone opdrachten. Ze kregen de opdracht de helft van de segmenten van elke tekst vanaf nul te vertalen en de andere helft met GPT-4, waarbij de beginmethode willekeurig werd gekozen. Materiaal met gevoelige of persoonsgegevens bleef erbuiten. De studie legde tijdstempels vast in Trados om de snelheid te schatten, beoordeelde de kwaliteit van de uitvoer met vier automatische maatstaven en hield vijf interviews, waaronder een met de teamleiding.
De opzet was eenvoudig. De vertalers gebruikten alleen één systeemprompt die ze niet konden zien. Er werden geen termbases en geen taakspecifieke prompts gebruikt.
Resultaten
Het nabewerken van GPT-4-uitvoer ging met 2,75 tekens per seconde, tegenover 2,40 bij vertalen vanaf nul, wat de auteurs omschrijven als 14% sneller. Toen de auteurs gelijktrokken hoeveel segmenten elke vertaler bijdroeg, melden ze tot 37% sneller. De individuele resultaten liepen uiteen van -2% tot 102%.
De kwaliteit was wisselend. Van de Fins-Zweedse uitvoer werd 11% zonder enige bewerking geaccepteerd, en 16% van de Fins-Engelse uitvoer. De vertalers meldden problemen met vakterminologie en met het gebrek aan context van de tool over een heel document. Drie van de vier wilden een vergelijkbare tool blijven gebruiken.
Wat u kunt overnemen
Doe voor aankoop een korte, gemeten proef op echt werk. Meet de snelheid per persoon, train het team in nabewerken en vraag naar hun mening over terminologieproblemen voordat u opschaalt.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Snelheid van het nabewerken van GPT-4-uitvoer vergeleken met vertalen vanaf nul, 4 vertalers, 908 getimede segmenten | 14% sneller (2,75 tegenover 2,40 tekens per seconde, P = 0,03)1 | |
| Snelheidswinst wanneer de segmenten over de vertalers werden gelijkgetrokken (een aanvullende analyse die de auteurs niet-standaard noemen) | tot 37% sneller1 | |
| Bandbreedte van de individuele productiviteitsverandering bij de 4 vertalers | -2% tot 102%1 | |
| Fins-Zweedse GPT-4-uitvoer die zonder wijzigingen werd geaccepteerd | 11% (141/1261)1 | |
| Fins-Engelse GPT-4-uitvoer die zonder wijzigingen werd geaccepteerd | 16% (18/112)1 | |
| Vertalers die een vergelijkbare AI-tool wilden blijven gebruiken, uit 5 interviews (4 vertalers en de teamleiding) | 3 van de 41 |
Lessen voor uw project
Meet per persoon, niet alleen gemiddeld. De winst liep uiteen van een klein verlies tot meer dan een verdubbeling, dus het teamgemiddelde verbergt wie er baat bij heeft.
Reken op training in nabewerken. Machinale uitvoer controleren en corrigeren is een andere vaardigheid dan vertalen, en de auteurs koppelen de resultaten daaraan.
Pak de zwakke punten van de tool vroeg aan. De vertalers noemden inconsistente terminologie en ontbrekende documentcontext als grootste knelpunten.
Reken erop dat medewerkers de winst lager inschatten dan de stopwatch. De vertalers waren voorzichtiger dan de gemeten gegevens, dus plan verandermanagement in.
Houd gevoelige teksten buiten de proef. De regio sloot materiaal met gevoelige of persoonsgegevens uit.
Kanttekeningen
- De bron is een peer-reviewed artikel van onderzoekers van LUT University, de eigen onderzoeks- en ontwikkelafdeling van de regio en HUS. De regio keurde de studie goed. Geen ander medium bevestigt de cijfers, dus de case berust op gegevens van de organisatie zelf.
- Er deden maar 4 vertalers mee, van wie er één 61% van de getimede segmenten leverde. De auteurs zeggen dat de resultaten niet te generaliseren zijn.
- De vertaaltijd is geschat op basis van tijdstempels in de software, met filters van de auteurs. Het cijfer van 37% komt uit een aanvullende analyse die de auteurs niet-standaard noemen; de samenvatting zegt tot 37%, terwijl de resultatentekst gemiddeld 37% noemt.
- De website van het tijdschrift kon niet rechtstreeks worden gelezen. De cijfers zijn gecontroleerd aan de hand van de volledige tekst op Europe PMC (PMC12443352), die 17 september 2025 als publicatiedatum vermeldt.
- De datum van ingebruikname is het begin van de gegevensverzameling (maart 2024). Het artikel zegt niet of de tool daarna in gebruik bleef.
- De kwaliteit is beoordeeld met automatische maatstaven, afgezet tegen de eindversies van de vertalers, niet door onafhankelijke menselijke beoordelaars.
Bronnen
- Evaluation of Generative Artificial Intelligence Implementation Impacts in Social and Health Care Language Translation: Mixed Methods Case Study
JMIR Formative Research · 2025-09-17 · Onderzoeksrapport · formative.jmir.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.