I allt tidigare arbete om djup multi-task lärande vi är medvetna om, alla uppgifter övervakning är på samma (yttersta) skikt. Vi presenterar en multi-task lärande arkitektur med djupa dubbelriktade RNNs, där olika uppgifter övervakning kan ske på olika lager. Vi presenterar experiment i syntaktisk buckling och CCG supertagging, tillsammans med den ytterligare uppgiften att POS-tagging. Vi visar att det genomgående är bättre att ha POS-övervakning i det innersta snarare än det yttersta skiktet. Vi hävdar att detta beror på att "lågnivå" uppgifter bättre hålls på de lägre skikten, vilket gör det möjligt för de högre nivåer uppgifter att använda sig av den delade representationen av de lägre nivåer uppgifter. Slutligen visar vi också hur denna arkitektur kan användas för domänanpassning.
I Low-Supervision MTL-modellen REF tränas hjälpuppgifter på de lägre skikten och den primära uppgiften tränas på det högre skiktet.
Deep multi-task learning with low level tasks supervised at lower layers
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}