Vi studerar effekten av källlängd och verbositet av stämdatauppsättningen på prestandan hos parameteroptimatorer såsom MERT och PRO för statistisk maskinöversättning. I synnerhet testar vi om verbositeten i de resulterande översättningarna kan modifieras genom att variera längden eller verbositeten av stämmemeningarna. Vi finner att MERT lär sig tuning uppsättning verbosity mycket bra, medan PRO är känslig för både verbosity och längden på källmeningar i inställningsuppsättningen, men ändå, övergripande PRO lär sig bäst från highverbosity tuning dataset. Med tanke på dessa beroenden, och eventuellt några andra såsom mängden omordning, antal okända ord, syntaktisk komplexitet och utvärderingsåtgärd, för att bara nämna några få, argumenterar vi för behovet av kontrollerade utvärderingsscenarier, så att valet av inställningsuppsättning och optimeringsstrategi inte överskuggar vetenskapliga framsteg inom modellering eller avkodning. Under tiden, tills vi utvecklar sådana kontrollerade scenarier, rekommenderar vi att använda PRO med en stor verbosity tuning set, som i våra experiment, ger högsta BLEU över datauppsättningar och språkpar.
I tidigare arbete fann vi också att MERT lär sig verbositet, medan PRO lär sig längd REF.
Analyzing Optimization for Statistical Machine Translation: MERT Learns Verbosity, PRO Learns Length
{'venue': 'CoNLL', 'journal': None, 'mag_field_of_study': ['Computer Science']}