I den här artikeln utforskar vi den dubbelriktade kartläggningen mellan bilder och deras meningsbaserade beskrivningar. Vi föreslår att vi lär oss den här kartläggningen med hjälp av ett återkommande neuralt nätverk. Till skillnad från tidigare metoder som kartlägger både meningar och bilder till en gemensam inbäddning, möjliggör vi generering av nya meningar ges en bild. Med samma modell kan vi också rekonstruera de visuella egenskaper som förknippas med en bild med dess visuella beskrivning. Vi använder ett nytt återkommande visuellt minne som automatiskt lär sig att komma ihåg långsiktiga visuella begrepp för att underlätta både meningsgenerering och visuell funktionsrekonstruktion. Vi utvärderar vår strategi för flera uppgifter. Dessa inkluderar generering av meningar, hämtning av meningar och hämtning av bilder. Toppmoderna resultat visas för uppgiften att skapa nya bildbeskrivningar. Jämfört med mänskliga bildtexter, är våra automatiskt genererade bildtexter föredras av människor över 19,8% av tiden. Resultaten är bättre än eller jämförbara med state-of-the-art resultat på bilden och mening hämtning uppgifter för metoder som använder liknande visuella funktioner.
Chen och Al. REF lärde sig en dubbelriktad kartläggning mellan bilder och deras meningsbaserade beskrivningar med hjälp av RNN.
Learning a Recurrent Visual Representation for Image Caption Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}