Maximum Sanelihood Estimation (MLE) har varit känt för att utgöra data gleshet utmaning i sekvensförutsägelse uppgifter, för att lindra data sparseness, föreslår vi en ny ram för att träna sekvensmodell via en överbryggande process. Till skillnad från MLE som optimerar sekvensgeneratorn genom att direkt maximera sannolikheten för marksanning sekvens med tanke på inmatningen, vårt föreslagna ramverk designar en bro för att ansluta generatorn med marksanning. Under utbildningen följer vi först vissa begränsningar för att omvandla den punktvisa marken sanningen som en bro distribution, sedan matcha generatorns output distribution med den transformerade bron distribution genom att minimera deras KL-divergens. Genom att införa olika begränsningar kommer brodistributionen att anta olika egenskaper. För att öka produktionens mångfald, öka språkmjukheten och minska inlärningsbördan utformar vi tre olika legaliseringsbegränsningar för att konstruera olika brodistributioner. Kombinera dessa broar med sekvensgenerator, kan vi bygga tre parallella generativa överbryggande nätverk, nämligen enhetliga GBN, språk-modell GBN och coaching GBN. Experimentella resultat på två erkända sekvensförutsägelser uppgifter har visat att GBN kan ge betydande förbättringar över baslinjesystemet. Dessutom tar vi prover från tre brodistributioner för att analysera deras olika egenskaper och verifiera deras påverkan på sekvensmodellen lärande.
I REF föreslås ett generativt överbryggande nätverk där en bromodul införs för att underlätta utbildningen av modellen för sekvensförutsägelse.
Generative Bridging Network in Neural Sequence Prediction
{'venue': 'NAACL 2018', 'journal': 'arXiv: Artificial Intelligence', 'mag_field_of_study': ['Computer Science', 'Mathematics']}