Böcker är en rik källa till både finkornig information, hur en karaktär, ett objekt eller en scen ser ut, liksom semantik på hög nivå, vad någon tänker, känner och hur dessa tillstånd utvecklas genom en berättelse. Detta dokument syftar till att anpassa böcker till deras filmutgåvor för att ge rika beskrivande förklaringar till visuellt innehåll som går semantiskt långt utöver de bildtexter som finns i aktuella datauppsättningar. För att anpassa filmer och böcker utnyttjar vi en neural mening inbäddning som är tränad på ett oövervakat sätt från en stor corpus av böcker, samt en video-text neural inbäddning för att beräkna likheter mellan filmklipp och meningar i boken. Vi föreslår en kontextmedveten CNN för att kombinera information från flera källor. Vi uppvisar god kvantitativ prestanda för film/bokuppriktning och visar flera kvalitativa exempel som visar på mångfalden av uppgifter som vår modell kan användas till.
REF lär sig att anpassa böcker och filmer.
Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books
{'venue': '2015 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2015 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}