Uppgiften för multi-image cued story generation, såsom visuell berättande dataset (VIS) utmaning, är att komponera flera sammanhängande meningar från en given sekvens av bilder. Den största svårigheten är hur man genererar bildspecifika meningar inom ramen för övergripande bilder. Här föreslår vi en djupt lärande nätverksmodell, GLAC Net, som genererar visuella berättelser genom att kombinera global-lokal (glokal) uppmärksamhet och kontext kaskadmekanismer. Modellen innehåller två nivåer av uppmärksamhet, dvs. övergripande kodningsnivå och bildfunktionsnivå, för att konstruera bildberoende meningar. Medan standard uppmärksamhet konfiguration behöver ett stort antal parametrar, GLAC Net implementerar dem på ett mycket enkelt sätt via hårda anslutningar från utgångar av kodare eller bildfunktioner på meningen generatorer. Samstämmigheten i den berättelse som genererats förbättras ytterligare genom att informationen i den föregående meningen överförs till nästa mening på ett seriellt sätt. Vi utvärderar GLAC Nets prestanda på det visuella berättande datasetet (VIS) och uppnår mycket konkurrenskraftiga resultat jämfört med de senaste teknikerna. Våra kod och förtränade modeller finns här 1.
GLAC Net REF genererar visuella berättelser genom att kombinera global-lokal uppmärksamhet och ger samstämmighet till berättelserna genom att kaskadera informationen i föregående mening till nästa mening seriellt.
GLAC Net: GLocal Attention Cascading Networks for Multi-image Cued Story Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}