Semantiska sammansättningsfunktioner har spelat en central roll i neural representation inlärning av textsekvenser. Trots sin framgång lider de flesta befintliga modeller av underbestämmande problem: de använder samma delade kompositionsfunktion på alla positioner i sekvensen, vilket saknar uttryckskraft på grund av oförmåga att fånga rikedomen i kompositionalitet. Dessutom är sammansättningen funktioner av olika uppgifter oberoende och lärt sig från grunden. I detta dokument föreslår vi ett nytt delningssystem för sammansättningsfunktion över flera uppgifter. Speciellt använder vi ett gemensamt meta-nätverk för att fånga meta-kunskap om semantisk komposition och generera parametrarna för de uppgiftsspecifika semantiska kompositionsmodellerna. Vi utför omfattande experiment på två typer av uppgifter, textklassificering och sekvensmärkning, som visar fördelarna med vårt tillvägagångssätt. Dessutom visar vi att den gemensamma metakunskap som vi lärt oss av vår föreslagna modell kan betraktas som off-the-shälf kunskap och lätt överföras till nya uppgifter.
Meta-MTL REF använder en LSTM som delas över alla uppgifter för att styra parametrarna för de aktivitetsspecifika LSTM:erna.
Meta Multi-Task Learning for Sequence Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}