Designmönstret "CNN-RNN" tillämpas i allt större utsträckning i en mängd olika bildanmärkningsuppgifter, bland annat klassificering och bildtext med flera märken. Befintliga modeller använder det svagt semantiska CNN dolda lagret eller dess transform som bilden inbäddning som ger gränssnittet mellan CNN och RNN. Detta lämnar RNN stretched med två jobb: att förutsäga de visuella begreppen och modellera deras korrelationer för att generera strukturerad annotering output. Detta gör att utbildningen av CNN och RNN blir långsam och ineffektiv på grund av svårigheten att föröka sig bakåt genom RNN för att utbilda CNN. Vi föreslår en enkel ändring av designmönstret som gör lärandet mer effektivt och effektivt. I synnerhet föreslår vi att man använder ett semantiskt regulariserat inbäddningsskikt som gränssnitt mellan CNN och RNN. Att reglera gränssnittet kan delvis eller helt frikoppla inlärningsproblemen, vilket gör det möjligt för var och en att bli mer effektivt utbildad och gemensamt träna mycket effektivare. Omfattande experiment visar att state-of-the-art prestanda uppnås på multi-label klassificering samt bildtextning.
Liu Ref föreslog att ett semantiskt regulariserat inbäddningsskikt skulle användas som gränssnitt mellan CNN och RNN för att förbättra samutbildningen mellan CNN och RNN.
Semantic Regularisation for Recurrent Image Annotation
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}