Att koppla samman två datakällor är en grundläggande byggsten i många problem med datorseendet. Canonical Correlation Analysis (CCA) uppnår detta genom att använda en linjär optimizer för att maximera korrelationen mellan de två vyerna. Nya arbete använder sig av icke-linjära modeller, inklusive djupinlärning tekniker, som optimerar CCA förlust i vissa funktioner utrymme. I detta dokument introducerar vi en ny, dubbelriktad neural nätverk arkitektur för uppgiften att matcha vektorer från två datakällor. Vår strategi använder två bundna neurala nätverk kanaler som projicerar de två vyerna i ett gemensamt, maximalt korrelerat utrymme med hjälp av Euclidean förlust. Vi visar en direkt koppling mellan korrelationsbaserad förlust och Euclidean förlust, vilket möjliggör användning av Euclidean förlust för korrelation maximization. För att övervinna vanliga Euclidean regressionsoptimering problem, vi modifierar välkända tekniker till vårt problem, inklusive batch normalisering och avhopp. Vi visar toppmoderna resultat på ett antal datorseende matchande uppgifter inklusive MNIST bildmatchning och mening-image matchning på Flickr8k, Flickr30k och COCO dataset.
REF föreslår ett dubbelriktat nätverk för att maximera korrelationen mellan matchande bilder och text.
Linking Image and Text with 2-Way Nets
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}