Abstract-Whereas djupa neurala nätverk användes först mest för klassificering uppgifter, de expanderar snabbt i sfären av strukturerade utdata problem, där det observerade målet består av flera slumpmässiga variabler som har en rik gemensam distribution, med tanke på inmatningen. Vi fokuserar i detta dokument på det fall där inputen också har en rik struktur och input- och outputstrukturerna på något sätt är relaterade. Vi beskriver system som lär sig att ta hand om olika platser i inmatningen, för varje element i utmatningen, för en mängd olika uppgifter: maskinöversättning, bildtextgenerering, video klippbeskrivning och taligenkänning. Alla dessa system är baserade på en delad uppsättning av byggstenar: grindar återkommande neurala nätverk och konvolutionella neurala nätverk, tillsammans med utbildade uppmärksamhetsmekanismer. Vi rapporterar om experimentella resultat med dessa system, visar imponerande bra prestanda och fördelen med uppmärksamhetsmekanismen.
Till exempel Cho et al. Ref-enkät över befintliga innehållsbaserade uppmärksamhetsmodeller för att förbättra prestandan i en rad övervakade inlärningsuppgifter, inklusive taligenkänning, maskinöversättning, bildtextgenerering m.m.
Describing Multimedia Content using Attention-based Encoder--Decoder Networks
{'venue': 'IEEE Transactions on Multimedia', 'journal': 'IEEE Transactions on Multimedia', 'mag_field_of_study': ['Computer Science']}