Befintliga metoder för visuellt resonemang försöker direkt kartlägga indata till utgångar med hjälp av svart-box arkitekturer utan att uttryckligen modellera de underliggande resonemangsprocesserna. Som ett resultat, dessa svart-box modeller lär sig ofta att utnyttja fördomar i data snarare än att lära sig att utföra visuella resonemang. Inspirerad av modulnätverk föreslår detta dokument en modell för visuellt resonemang som består av en programgenerator som konstruerar en uttrycklig representation av den resonemangsprocess som ska utföras, och en exekveringsmotor som utför det resulterande programmet för att producera ett svar. Både programgeneratorn och exekveringsmotorn implementeras av neurala nätverk, och tränas med hjälp av en kombination av backpropagation och REINFORCE. Med hjälp av CLEVR-riktmärket för visuellt resonemang visar vi att vår modell avsevärt överträffar starka baslinjer och generaliserar bättre i en mängd olika inställningar.
En ledande metod för visuellt resonemang är Program Generator + Execution Engine modell från REF.
Inferring and Executing Programs for Visual Reasoning
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}