Vi introducerar Neural State Machine, försöker överbrygga klyftan mellan neurala och symboliska vyer av AI och integrera deras kompletterande styrkor för uppgiften att visuellt resonemang. Med en bild förutsäger vi först en probabilistisk graf som representerar dess underliggande semantik och fungerar som en strukturerad världsmodell. Sedan utför vi sekventiella resonemang över grafen, iterativt traversera sina noder för att svara på en given fråga eller rita en ny slutsats. I motsats till de flesta neurala arkitekturer som är utformade för att nära interagera med de råa sensoriska data, fungerar vår modell istället i ett abstrakt latent utrymme, genom att omvandla både de visuella och språkliga modaliteterna till semantiska konceptbaserade representationer, vilket leder till ökad transparens och moduläritet. Vi utvärderar vår modell på VQA-CP och GQA, två nya VQA-datauppsättningar som omfattar kompositionalitet, flerstegsinferens och olika resonemangsfärdigheter, för att uppnå toppmoderna resultat i båda fallen. Vi tillhandahåller ytterligare experiment som illustrerar modellens starka generaliseringskapacitet över flera dimensioner, inklusive nya kompositioner av begrepp, förändringar i svarsfördelningen, och osynliga språkliga strukturer, som visar egenskaperna och effektiviteten i vårt tillvägagångssätt.
NSM REF förutsäger en probabilistisk graf från bilden för att få ett abstrakt latent utrymme som sedan bearbetas som en tillståndsmaskin.
Learning by Abstraction: The Neural State Machine
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}