I detta dokument behandlas uppgiften att matcha bilder och meningar. Utmaningen består i att discriminativt inbädda de två modaliteterna i ett gemensamt visuellt-textuellt utrymme. Befintligt arbete inom detta område använder i stor utsträckning Recurrent Neural Networks (RNN) för textfunktionsinlärning och använder off-the-shelf Convolutional Neural Networks (CNN) för bildfunktionsextraktion. I jämförelse med detta skiljer sig vårt system åt i två viktiga avseenden. För det första bygger vi ett konvolutionsnätverk som kan finjustera de visuella och textmässiga representationerna, där hela nätverket endast innehåller fyra komponenter, dvs. konvolutionsskikt, samlingsskikt, rektifierad linjär enhetsfunktion (ReLU) och batchnormalisering. Endto-end-inlärning gör det möjligt för systemet att direkt lära sig av data och fullt ut utnyttja handledningarna. För det andra föreslår vi exempelförlust enligt att se varje multimodalt datapar som en klass. Detta fungerar med ett stort marginalmål för att lära sig den intermodala överensstämmelsen mellan bilder och deras textbeskrivningar. Experiment på två generiska hämtningsdataset (Flickr30k och MSCOCO) visar att vår metod ger konkurrenskraftig noggrannhet jämfört med toppmoderna metoder. Dessutom förbättrar vi teknikens tillstånd med stor marginal när det gäller hämtning av språk.
Zheng m.fl. REF utforskade text CNN och exempel förlust att lära sig mer diskriminerande inbäddningar av bilder och meningar.
Dual-Path Convolutional Image-Text Embedding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}