Vi föreslår Neuro-Symbolic Concept Learner (NS-CL), en modell som lär sig visuella begrepp, ord och semantisk tolkning av meningar utan uttrycklig övervakning på någon av dem; istället lär sig vår modell genom att helt enkelt titta på bilder och läsa parade frågor och svar. Vår modell bygger en objektbaserad scenrepresentation och översätter meningar till körbara, symboliska program. För att överbrygga inlärningen av två moduler, använder vi en neuro-symbolisk resonemang modul som utför dessa program på latent scen representation. Analogiskt till mänskligt konceptinlärning lär sig perceptionsmodulen visuella begrepp baserade på språkbeskrivningen av det objekt som refereras till. Samtidigt underlättar de lärda visuella begreppen att lära sig nya ord och tolka nya meningar. Vi använder läroplansundervisning för att vägleda sökandet över det stora kompositionsutrymmet för bilder och språk. Omfattande experiment visar exaktheten och effektiviteten i vår modell för att lära sig visuella begrepp, ordrepresentationer och semantisk tolkning av meningar. Dessutom möjliggör vår metod enkel generalisering till nya objektattribut, kompositioner, språkkoncept, scener och frågor, och även nya programdomäner. Det ger också tillämpningar inklusive visuell frågesvar och dubbelriktad bild-text hämtning.
Till exempel undersöker NS-CL REF möjligheten att utföra program på latent utrymme bild representation med användning av neuro-symboliskt resonemang modul.
The Neuro-Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}