What do post-editors correct? A fine-grained analysis of SMT and NMT errors

The recent improvements in neural MT (NMT) have driven a shift from statistical MT (SMT) to NMT. However, to assess the usefulness of MT models for post-editing (PE) and have a detailed insight of the output they produce, we need to analyse the most frequent errors and how they affect the task. We p...

Full description

Bibliographic Details
Authors: Álvarez-Vidal, Sergi, Oliver, Antoni, Badia i Cardús, Antoni
Format: article
Status:Published version
Publication Date:2021
Country:España
Institution:Universitat Pompeu Fabra
Repository:Repositorio Digital de la UPF
OAI Identifier:oai:repositori.upf.edu:10230/53347
Online Access:http://hdl.handle.net/10230/53347
https://doi.org/10.5565/rev/tradumatica.286
Access Level:Open access
Keyword:Traducció automàtica
TA
TAN
Postedició
Traducció automàtica neuronal
Taxonomia d&apos
errors
Machine translation
MT
NMT
Post-editing
Neural machine translation
Error taxonomy
Traducción automática
Posedición
Traducción automática neuronal
Taxonomía de errores
id ES_2a8e0110a32d41e0b5cebe4a5954343c
oai_identifier_str oai:repositori.upf.edu:10230/53347
network_acronym_str ES
network_name_str España
repository_id_str
spelling What do post-editors correct? A fine-grained analysis of SMT and NMT errorsÁlvarez-Vidal, SergiOliver, AntoniBadia i Cardús, AntoniTraducció automàticaTATANPostedicióTraducció automàtica neuronalTaxonomia d&aposerrorsMachine translationMTNMTPost-editingNeural machine translationError taxonomyTraducción automáticaPosediciónTraducción automática neuronalTaxonomía de erroresThe recent improvements in neural MT (NMT) have driven a shift from statistical MT (SMT) to NMT. However, to assess the usefulness of MT models for post-editing (PE) and have a detailed insight of the output they produce, we need to analyse the most frequent errors and how they affect the task. We present a pilot study of a fine-grained analysis of MT errors based on post-editors corrections for an English to Spanish medical text translated with SMT and NMT. We use the MQM taxonomy to compare the two MT models and have a categorized classification of the errors produced. Even though results show a great variation among posteditors’ corrections, for this language combination fewer errors are corrected by post-editors in the NMT output. NMT also produces fewer accuracy errors and errors that are less critical.Les millores recents en la TA neuronal (TAN) han impulsat un canvi de la TA estadística (TAE) a la TAN. Tanmateix, per avaluar la utilitat dels models de TA per a la postedició (PE), és fonamental analitzar els errors més freqüents i com afecten la tasca. Presentem un estudi pilot d'una anàlisi detallada dels errors de la TA basat en correccions de postedició d’un text mèdic traduït de l'anglès al castellà amb TAE i TAN. Hem utilitzat la taxonomia MQM per comparar els dos models de TA i hem classificat els errors produïts. La nostra anàlisi també inclou una avaluació de la variació entre els posteditors, que se centra en els passatges amb una major variació en la postedició.Los avances recientes en TA neuronal (TAN) han producido un giro desde la TA estadística (TAE) hacia la TAN. Sin embargo, para evaluar la utilidad de los modelos de TA para la posedición, es imprescindible analizar los errores más frecuentes y cómo afectan a esta tarea. Presentamos el estudio piloto de un análisis pormenorizado de errores en TA basado en las correcciones realizadas por los poseditores en la traducción de un texto médico realizada del inglés al castellano mediante TAE y TAN. Utilizamos la taxonomía MQM para comparar los dos modelos de TA y obtener una clasificación categorizada de los errores resultantes. Nuestro análisis incluye también una evaluación de las diferencias entre poseditores, centrada en los pasajes en los que la posedición presentaba mayor disparidad. Universitat Autònoma de Barcelona202220222021info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfapplication/pdfhttp://hdl.handle.net/10230/53347https://doi.org/10.5565/rev/tradumatica.286reponame:Repositorio Digital de la UPFinstname:Universitat Pompeu FabraInglésRevista Tradumàtica. 2021;(19):131-47(c) 2021 Sergi Alvarez-Vidal, Antoni Oliver, Toni Badia Aquesta obra està sota una llicència internacional Creative Commons Reconeixement 4.0.http://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessoai:repositori.upf.edu:10230/533472026-06-12T07:21:37Z
dc.title.none.fl_str_mv What do post-editors correct? A fine-grained analysis of SMT and NMT errors
title What do post-editors correct? A fine-grained analysis of SMT and NMT errors
spellingShingle What do post-editors correct? A fine-grained analysis of SMT and NMT errors
Álvarez-Vidal, Sergi
Traducció automàtica
TA
TAN
Postedició
Traducció automàtica neuronal
Taxonomia d&apos
errors
Machine translation
MT
NMT
Post-editing
Neural machine translation
Error taxonomy
Traducción automática
Posedición
Traducción automática neuronal
Taxonomía de errores
title_short What do post-editors correct? A fine-grained analysis of SMT and NMT errors
title_full What do post-editors correct? A fine-grained analysis of SMT and NMT errors
title_fullStr What do post-editors correct? A fine-grained analysis of SMT and NMT errors
title_full_unstemmed What do post-editors correct? A fine-grained analysis of SMT and NMT errors
title_sort What do post-editors correct? A fine-grained analysis of SMT and NMT errors
dc.creator.none.fl_str_mv Álvarez-Vidal, Sergi
Oliver, Antoni
Badia i Cardús, Antoni
author Álvarez-Vidal, Sergi
author_facet Álvarez-Vidal, Sergi
Oliver, Antoni
Badia i Cardús, Antoni
author_role author
author2 Oliver, Antoni
Badia i Cardús, Antoni
author2_role author
author
dc.subject.none.fl_str_mv Traducció automàtica
TA
TAN
Postedició
Traducció automàtica neuronal
Taxonomia d&apos
errors
Machine translation
MT
NMT
Post-editing
Neural machine translation
Error taxonomy
Traducción automática
Posedición
Traducción automática neuronal
Taxonomía de errores
topic Traducció automàtica
TA
TAN
Postedició
Traducció automàtica neuronal
Taxonomia d&apos
errors
Machine translation
MT
NMT
Post-editing
Neural machine translation
Error taxonomy
Traducción automática
Posedición
Traducción automática neuronal
Taxonomía de errores
description The recent improvements in neural MT (NMT) have driven a shift from statistical MT (SMT) to NMT. However, to assess the usefulness of MT models for post-editing (PE) and have a detailed insight of the output they produce, we need to analyse the most frequent errors and how they affect the task. We present a pilot study of a fine-grained analysis of MT errors based on post-editors corrections for an English to Spanish medical text translated with SMT and NMT. We use the MQM taxonomy to compare the two MT models and have a categorized classification of the errors produced. Even though results show a great variation among posteditors’ corrections, for this language combination fewer errors are corrected by post-editors in the NMT output. NMT also produces fewer accuracy errors and errors that are less critical.
publishDate 2021
dc.date.none.fl_str_mv 2021
2022
2022
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/10230/53347
https://doi.org/10.5565/rev/tradumatica.286
url http://hdl.handle.net/10230/53347
https://doi.org/10.5565/rev/tradumatica.286
dc.language.none.fl_str_mv Inglés
language_invalid_str_mv Inglés
dc.relation.none.fl_str_mv Revista Tradumàtica. 2021;(19):131-47
dc.rights.none.fl_str_mv http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
application/pdf
dc.publisher.none.fl_str_mv Universitat Autònoma de Barcelona
publisher.none.fl_str_mv Universitat Autònoma de Barcelona
dc.source.none.fl_str_mv reponame:Repositorio Digital de la UPF
instname:Universitat Pompeu Fabra
instname_str Universitat Pompeu Fabra
reponame_str Repositorio Digital de la UPF
collection Repositorio Digital de la UPF
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869405080177868800
score 15,812455

Similar Items