Det växande arbetet inom flerspråkig tolkning står inför utmaningen med rättvis jämförande utvärdering och resultatanalys över språk och deras trädbankar. Svårigheten ligger i att reta bort trädbankarnas egenskaper, t.ex. deras storlek eller genomsnittliga strafflängd, från notsystemets egenskaper och från språkens språkliga egenskaper. Vi föreslår en metod för att utvärdera effekterna av ordordning av ett språk på beroende tolkning prestanda, samtidigt kontrollera för förbryllande trädbank egenskaper. Metoden använder artificiellt genererade trädbankar som är minimala permutationer av faktiska trädbankar med avseende på två ordordningsegenskaper: ordföljdsvariationer och beroendelängder. Baserat på dessa artificiella data på tolv språk, visar vi att längre beroenden och högre ordföljdsvariabilitet försämrar tolkningsprestandan. Vår metod sträcker sig också till minimala par av enskilda meningar, vilket leder till en finare förståelse av tolkningsfel.
Ref:s senaste arbete har undersökt ordföljdsvariationen och dess inverkan på beroendetolkningen av 12 språk.
Multi-lingual Dependency Parsing Evaluation: a Large-scale Analysis of Word Order Properties using Artificial Data
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}