Detta dokument beskriver vår lösning på den multimodala inlärningsutmaningen med ICML. Denna lösning består av att bygga tre nivåer representationer i tre på varandra följande steg och välja rätt tagg ord med en data-specifik strategi. För det första använder vi typiska metoder för att få nivå-1 representationer. Varje bild representeras med hjälp av MPEG-7 och gist deskriptorer med ytterligare funktioner som släpps av tävlingen arrangörer. Och motsvarande ordtaggar representeras av påse-of-words modell med en ordbok på 4000 ord. För det andra lär vi oss nivå 2-representationerna med hjälp av två staplade ringpärmsmekanismer för varje modalitet. För det tredje föreslår vi en tvåmodal autokodare för att lära sig likheterna/skillnaderna mellan de parvisa bildmarkeringarna som nivå 3-presentationer. Slutligen, under testfasen, baserat på en observation av datasetet, kommer vi fram till en dataspecifik strategi för att välja rätt taggord som leder till ett språng mot en förbättrad total prestanda. Vår slutliga genomsnittliga noggrannhet på den privata test uppsättningen är 100%, som rankas första plats i denna utmaning.
Sedan tillämpade REF multimodal DBM i utmaningen Image-Text hämtning av ICML 2013 och fick första plats i utmaningen.
Constructing Hierarchical Image-tags Bimodal Representations for Word Tags Alternative Choice
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}