Sökandet efter algoritmer som möjliggör kognitiva förmågor är en viktig del av maskininlärning. Ett vanligt drag i många nyligen undersökta kognitiva uppgifter är att de tar hänsyn till olika datametoder, såsom visuell och textbaserad inmatning. I detta dokument föreslår vi en ny och allmänt tillämplig form av uppmärksamhetsmekanism som lär sig överordnad korrelation mellan olika datametoder. Vi visar att högorder korrelationer effektivt riktar lämplig uppmärksamhet på relevanta delar i de olika datametoder som krävs för att lösa den gemensamma uppgiften. Vi demonstrerar effektiviteten hos vår högorder-uppmärksamhetsmekanism för uppgiften att svara på visuella frågor (VQA), där vi uppnår toppmodern prestanda på standarddatauppsättningen VQA.
Schwartz m.fl. REF använder inlärda korrelationer i högre ordning mellan olika datametoder för att rikta uppmärksamheten mot element i de datametoder som är relevanta för den aktuella uppgiften.
High-Order Attention Models for Visual Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}