English-Catalan Neural Machine Translation : state-of-the-art technology, quality, and productivity

Abstract

Recent major changes and technological advances have consolidated machine translation (MT) as a key player to be considered in the language services world. In numerous instances, it is even an essential player due to budget and time constraints. Much attention has been paid to MT research recently, and MT use by professional or amateur users has increased. Yet, research has focused mainly on language combinations with huge amounts of online available corpora (e.g. English-Spanish). The situation for minoritized or stateless languages like Catalan is different. This study analyses Softcatalà's new open-source, neural machine translation engine and compares it with Google Translate and Apertium in the English-Catalan language pair. Although MT engine developers use automatic metrics for MT engine evaluation, human evaluation remains the gold standard, despite its cost. Using TAUS DQF tools, translation quality (in terms of relative ranking, adequacy and fluency) and productivity (comparing editing times and distances) have been evaluated with the participation of 11 evaluators. Results show that Softcatalà's Translator offers higher quality and productivity than the other engines analysed.

Els recents i importants canvis i avenços tecnològics han consolidat la traducció automàtica (TA) com un actor clau a tenir en compte en el món dels serveis lingüístics. En molts casos, és fins i tot un actor essencial a causa de les limitacions de pressupost i temps. Últimament, la recerca en TA ha rebut molta atenció i se n'ha augmentat l'ús per part d'usuaris professionals i aficionats. De tota manera, la recerca s'ha centrat principalment en les combinacions lingüístiques amb grans quantitats de corpus disponibles en línia (per exemple, anglès-castellà). La situació de les llengües minoritàries o no oficials a un estat, com el català, és diferent. Aquest estudi analitza el nou motor de traducció automàtica neuronal de codi obert de Softcatalà i el compara amb el Google Traductor i l'Apertium en la combinació lingüística anglès-català. Tot i que els desenvolupadors de motors de traducció automàtica fan servir mètriques automàtiques per avaluar-los, l'avaluació humana continua sent la pràctica de referència, tot i el cost que implica. Per mitjà de les eines TAUS DQF, s'ha avaluat la qualitat de la traducció (en termes de classificació relativa, adequació i fluïdesa) i la productivitat (comparant els temps d'edició i les distàncies) amb la participació d'11 avaluadors. Els resultats mostren que el traductor de Softcatalà ofereix una qualitat i productivitat majors que els altres motors analitzats.