Vi presenterar en modell av visuellt grundad språkinlärning baserad på staplade gated återkommande neurala nätverk som lär sig att förutsäga visuella funktioner ges en bildbeskrivning i form av en sekvens av phonemes. Inlärningsuppgiften liknar den som människor som lär sig språket ställs inför och som behöver upptäcka både struktur och mening från bullriga och tvetydiga data över olika former. Vi visar att vår modell verkligen lär sig att förutsäga funktioner i det visuella sammanhanget givet fonetiskt transkriberade bildbeskrivningar, och visar att den representerar språklig information i en hierarki av nivåer: lägre lager i stacken är jämförelsevis mer känsliga för form, medan högre lager är mer känsliga för mening.
REF förutsäger den visuella funktionsvektorn associerad med en sekvens av phonemes med hjälp av en max-marginal förlust, liknande vår bild förutsägelse mål.
From phonemes to images: levels of representation in a recurrent neural model of visually-grounded language learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}