Att matcha bilder och meningar kräver en fin förståelse för båda formerna. I detta dokument föreslår vi ett nytt system för att discriminativt inbädda bilden och texten i ett gemensamt visuellt-textuellt utrymme. I detta fält, de flesta befintliga verk tillämpar rankingförlusten för att dra den positiva bilden / textpar nära och skjuta negativa par från varandra. Det är dock svårt att direkt använda rankningsförlusten för nätverksinlärning, eftersom den utgår från de två heterogena egenskaperna för att bygga ett intermodalt förhållande. För att ta itu med detta problem föreslår vi den fallförlust som uttryckligen tar hänsyn till den intramodala datadistributionen. Den bygger på ett oövervakat antagande om att varje bild/textgrupp kan ses som en klass. Så nätverket kan lära sig den fina granulariteten från varje bild/textgrupp. Experimentet visar att instans förlust erbjuder bättre vikt initialisering för rankningen förlust, så att mer diskriminerande inbäddningar kan läras. Dessutom, befintliga verk använder vanligtvis off-the-shelf funktioner, dvs. word2vec och fast visuell funktion. Så i ett mindre bidrag, detta dokument bygger en end-toend dual-path convolutional nätverk för att lära sig bilden och text representationer. End-to-end lärande gör det möjligt för systemet att direkt lära sig från data och fullt ut utnyttja övervakningen. På två generiska hämtningsdataset (Flickr30k och MSCOCO) visar experiment att vår metod ger konkurrenskraftig noggrannhet jämfört med toppmoderna metoder. I språkbaserad personsökning förbättrar vi dessutom teknikens tillstånd med stor marginal. Koden har gjorts tillgänglig för allmänheten.
För att lära sig mer diskriminerande representationer för bilder och meningar, Zheng et al. REF utnyttjade instans förlust som ett komplement för ranking förlust, vilket är en softmax förlust som klassificerar en bild-text par i en av ett stort antal klasser.
Dual-Path Convolutional Image-Text Embedding with Instance Loss
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}