Överföringsinlärning syftar till att lösa data gleshet för en måldomän genom att tillämpa information om källdomänen. Med tanke på en sekvens (t.ex. ett naturligt språk mening), överföringen lärande, vanligtvis aktiverat av återkommande neurala nätverk (RNN), representerar den sekventiella informationsöverföringen. RNN använder en kedja av upprepade celler för att modellera sekvensdata. Tidigare studier av neurala nätverk baserad överföring lärande helt enkelt representerar hela meningen med en enda vektor, som är ogenomförbar för följande 2seq och sekvens märkning. Samtidigt, sådana lagermässigt överför inlärningsmekanismer förlorar finkornig cell-nivå information från källdomänen. I detta dokument föreslog vi en anpassad återkommande överföring, ART, för att uppnå överföring av information på cellnivå. ART är inom ramen för förutbildningen. Varje cell accepterar uppmärksamt överförd information från en uppsättning positioner i källdomänen. Därför lär sig ART korsdomänordet collocation på ett mer flexibelt sätt. Vi utförde omfattande experiment på både sekvensmärkning uppgifter (POS taggning, NER) och mening klassificering (sentiment analys). ART överträffar toppmoderna metoder över alla experiment.
Minimalt övervakade metoder som Aligned Recurrent Transfer REF använder vissa märkta data från måldomänen.
Transfer Learning for Sequences via Learning to Collocate
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}