Abstrakt. På senare tid har stora framsteg gjorts när det gäller bildtextering, och ett ramverk för kodare och kodare har antagits av alla de senaste modellerna. Inom detta ramverk är en ingångsbild kodad av ett konvolutionellt neuralt nätverk (CNN) och sedan översatt till naturligt språk med ett återkommande neuralt nätverk (RNN). De befintliga modeller som räknar med detta ramverk använder endast en typ av CNN, t.ex. ResNet eller Inception-X, som beskriver bildinnehåll från endast en specifik synvinkel. Den semantiska betydelsen av en indatabild kan därför inte förstås på ett heltäckande sätt, vilket begränsar bildtexternas prestanda. I detta dokument, för att utnyttja den kompletterande informationen från flera kodare, föreslår vi en ny Recurrent Fusion Network (RFNet) för att ta itu med bildtextning. Fusionsprocessen i vår modell kan utnyttja samspelet mellan resultaten av bildkodarna och sedan generera nya kompakta men informativa representationer för dekodern. Experiment på MSCOCO dataset visar effektiviteten i vårt föreslagna RFNet, som sätter en ny state-of-the-art för bildtextning.
På denna linje, Jiang et al. I REF föreslogs ett återkommande fusionsnätverk för att integrera utdata från flera bildkodare.
Recurrent Fusion Network for Image Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}