Vi presenterar UDify, en flerspråkig multi-task modell som kan exakt förutsäga universell del-av-tal, morfologiska funktioner, lemmas, och beroende träd samtidigt för alla 124 Universal Dependencies trädbankar över 75 språk. Genom att utnyttja en flerspråkig BERT-självbetjäningsmodell som är förträngd på 104 språk, fann vi att finjustering av den på alla datauppsättningar tillsammans med enkla softmax-klassificeringar för varje UD-uppgift kan resultera i toppmoderna UPOS, UFeats, Lemmas, UAS, och LAS-poäng, utan att kräva några återkommande eller språkspecifika komponenter. Vi utvärderar UDify för flerspråkig inlärning, visar att låg resurs språk gynnas mest av korslingvista annoteringar. Vi utvärderar också för noll-shot lärande, med resultat som tyder på att flerspråkig utbildning ger starka UD förutsägelser även för språk som varken UDify eller BERT någonsin har utbildats på. Kod för UDify finns på https://github.com/ hyperparticle/udify.
REF föreslår en flerspråkig multi-task arkitektur för att förutsäga universell del-av-tal, morfologiska funktioner, lemmas, och beroende träd för Universal Dependencies trädbankar genom att tillämpa pre-utbildad flerspråkig BERT som den delade kodaren av sekvensen.