I detta dokument föreslår vi en multi-task Learning Approach for Image Captioning (MLAIC), som motiveras av det faktum att människor inte har några svårigheter att utföra en sådan uppgift eftersom de har kapaciteten hos flera domäner. Specifikt består MLAIC av tre nyckelkomponenter: (i) En multi-objekt klassificering modell som lär sig rik kategori-medveten bild representationer med hjälp av en CNN-bild kodare; (ii) En syntax generation modell som lär sig bättre syntaxaware LSTM-baserad dekoder; (iii) En bildtext som genererar bildbeskrivningar i text, dela sin CNN kodare och LSTM dekoder med objektklassificering uppgift respektive syntax generation uppgift, respektive. I synnerhet bildtextmodellen kan dra nytta av den ytterligare objektkategoriseringen och syntaxkunskapen. De experimentella resultaten på MS-COCO dataset visar att vår modell uppnår imponerande resultat jämfört med andra starka konkurrenter.
Zhao m.fl. I REF föreslogs ett system för multi-Task Learning (MTL) för att gemensamt utbilda en bildtext och attributextraheringsmodell.
A Multi-task Learning Approach for Image Captioning
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}