Hur bör man tillämpa djup inlärning på uppgifter som morfologisk reinflektion, som stokastiskt redigerar en sträng för att få en annan? En ny metod för sådana sekvens-till-sekvens uppgifter är att komprimera inmatningssträngen till en vektor som sedan används för att generera utdatasträngen, med hjälp av återkommande neurala nätverk. Däremot föreslår vi att behålla den traditionella arkitekturen, som använder en finit-state transducer för att poängsätta alla möjliga utdatasträngar, men att öka poängfunktionen med hjälp av återkommande nätverk. En hög med dubbelriktade LSTMs läser indatasträngen från vänster till höger och höger till vänster, för att sammanfatta indatakontext där en givare båge tillämpas. Vi kombinerar dessa inlärda funktioner med givare för att definiera en sannolikhetsfördelning över anpassade utdatasträngar, i form av en viktad finit-state automaton. Detta minskar hand-engineering av funktioner, gör det möjligt för inlärda funktioner att undersöka obundna sammanhang i inmatningssträngen, och tillåter fortfarande exakta slutsatser genom dynamisk programmering. Vi illustrerar vår metod om de uppgifter morfologisk reinflektion och lemmatisering.
Mest nära relaterade till detta arbete, neurala nätverk har kombinerats med viktade finita-state transducers att göra morfologisk reinflection REF.
Weighting Finite-State Transductions With Neural Context
{'venue': 'HLT-NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}