Vi introducerar två första ordningens grafbaserade beroendetolkar som uppnår en ny toppmodern nivå. Den första är en konsensustolk byggd från en ensemble av självständigt utbildade giriga LSTM övergångsbaserade parsers med olika slumpmässiga initieringar. Vi använder detta tillvägagångssätt som minimum Bayes risk avkodning (under hamming kostnad) och hävdar att svagare samförstånd inom ensemblen är en användbar signal om svårigheter eller tvetydighet. Den andra tolken är en "destillering" av ensemblen till en enda modell. Vi utbildar destillationstolken med hjälp av ett strukturerat mål för gångjärnsförluster med en ny kostnad som inkluderar beräkningar av ensembleosäkerhet för varje möjlig fastsättning, och därigenom undviker vi de oåtkomliga korsentropiberäkningar som krävs genom att tillämpa standarddestillationsmålen på problem med strukturerade utgångar. Den första ordningen destillation parser matchar eller överträffar state of the art på engelska, kinesiska och tyska.
REF använder ett annat tillvägagångssätt och destillerar ett samförstånd mellan många LSTM-baserade övergångsbaserade parser till en grafbaserad parser.
Distilling an Ensemble of Greedy Dependency Parsers into One MST Parser
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}