La contea di Western Uusimaa prova il post-editing con GPT-4 nel suo team interno di traduzione sanitaria e sociale

Il problema

Il settore pubblico finlandese della sanità e dei servizi sociali è sotto pressione per fare di più con lo stesso budget. Western Uusimaa è una regione bilingue, quindi i documenti devono esistere in finlandese e svedese e, sempre più spesso, in altre lingue. Il suo team interno di traduzione conta quattro persone. La contea voleva capire se l'IA generativa potesse aumentarne la produzione senza danneggiare la qualità.

Cosa hanno costruito

I traduttori della contea hanno usato GPT-4, un modello linguistico di grandi dimensioni di OpenAI, tramite un plug-in dentro Trados, il software di traduzione che già utilizzavano. Il plug-in chiama GPT-4 attraverso Microsoft Azure. Propone una traduzione automatica per ogni segmento delle dimensioni di una frase, che il traduttore poi modifica. Si chiama post-editing. Prima di allora il reparto non aveva alcuna pratica standardizzata di ausili di traduzione automatica.

Come ci sono riusciti

Quattro traduttori hanno lavorato ai loro incarichi abituali da marzo a giugno 2024. Era stato chiesto loro di tradurre da zero metà dei segmenti di ogni testo e l'altra metà con GPT-4, scegliendo a caso il metodo di partenza. Il materiale con dati sensibili o personali è stato escluso. Lo studio ha registrato i timestamp in Trados per stimare la velocità, ha valutato la qualità dell'output con quattro metriche automatiche e ha svolto cinque interviste, tra cui una con la figura che coordina il team.

L'impostazione era essenziale. I traduttori usavano un solo prompt di sistema che non potevano vedere. Non sono stati usati glossari terminologici né prompt specifici per il compito.

Risultati

Il post-editing dell'output di GPT-4 procedeva a 2,75 caratteri al secondo, contro 2,40 nella traduzione da zero, cosa che gli autori indicano come più veloce del 14%. Quando gli autori hanno pareggiato il numero di segmenti apportati da ciascun traduttore, riportano fino al 37% più veloce. I risultati individuali andavano dal -2% al 102%.

La qualità è stata discontinua. Tra gli output finlandese-svedese, l'11% è stato accettato senza alcuna modifica, e il 16% di quelli finlandese-inglese. I traduttori hanno segnalato problemi con la terminologia specialistica e la mancanza di contesto dello strumento su un intero documento. Tre su quattro volevano continuare a usare uno strumento simile.

Cosa replicare

Condurre una prova breve e strumentata su lavoro reale prima di acquistare. Misurare la velocità per persona, formare il team al post-editing e raccogliere il suo parere sui problemi di terminologia prima di scalare.