Distribuerad representation spelar en viktig roll i djupinlärning baserad på naturligt språk bearbetning. Representationen av en mening varierar dock ofta i olika uppgifter, som vanligtvis lärs från grunden och lider av de begränsade mängderna träningsdata. I detta dokument hävdar vi att en god straffrepresentation bör vara invariant och kan gynna de olika efterföljande uppgifterna. För att uppnå detta föreslår vi ett nytt system för informationsutbyte för lärande med flera arbetsuppgifter. Närmare bestämt delar alla uppgifter samma meningsrepresentation och varje uppgift kan välja uppgiftsspecifik information från den delade meningsrepresentationen med uppmärksamhetsmekanism. Förfrågan vektor för varje uppgifts uppmärksamhet kan vara antingen statiska parametrar eller genereras dynamiskt. Vi utför omfattande experiment på 16 olika textklassificeringsuppgifter som visar fördelarna med vår arkitektur.
REF föreslog att samma meningsrepresentation skulle delas för varje uppgift som i sin tur kan välja uppgiftsspecifik information från den delade representationen med hjälp av en särskild uppmärksamhetsmekanism.
Same Representation, Different Attentions: Shareable Sentence Representation Learning from Multiple Tasks
{'venue': 'IJCAI 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}