Buller eller icke-standard indatatext kan orsaka katastrofala felöversättningar i de flesta moderna maskinöversättningssystem (MT), och det har funnits ett växande forskningsintresse för att skapa buller-robust MT-system. Från och med nu finns det dock ingen allmänt tillgänglig parallell corpora av med naturligt förekommande bullriga ingångar och översättningar, och därmed tidigare arbete har använt sig av att utvärdera på syntetiskt skapade dataset. I detta dokument föreslår vi ett riktmärke dataset för maskinöversättning av Noisy Text (MTNT), som består av bullriga kommentarer om Reddit 1 och professionellt baserade översättningar. Vi beställde översättningar av engelska kommentarer till franska och japanska samt franska och japanska kommentarer till engelska, på ordningen 7k-37k meningar per språkpar. Vi undersöker kvalitativt och kvantitativt de typer av buller som ingår i denna datauppsättning och visar sedan att de befintliga MT-modellerna inte fungerar bra på ett antal bullerrelaterade fenomen, även efter att ha anpassat sig till en liten uppsättning in-domändata. Detta indikerar att denna datauppsättning kan ge en attraktiv testbädd för metoder anpassade för hantering av bullriga text i MT.
Vi märkte att REF föreslog en datauppsättning för att testa maskinöversättning på bullriga text.
MTNT: A Testbed for Machine Translation of Noisy Text
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}