I denna artikel fokuserar vi på två övervakade visuella resonemang uppgifter vars etiketter koda en semantisk relationsregel mellan två eller flera objekt i en bild: MNIST Parity uppgift och den färgade Pentomino uppgift. Objekten i bilderna genomgår slumpmässig översättning, skalning, rotation och färgomvandlingar. Dessa uppgifter inbegriper således invariant relationstänkande. Vi observerade ojämn prestanda av olika djupa konvolutionella neurala nätverk (CNN) modeller på dessa två uppgifter. För MNIST Parity-uppgiften rapporterar vi att VGG19-modellen med gott resultat överträffar en familj av ResNet-modeller. Dessutom, familjen av ResNet modeller uppvisar en allmän känslighet för slumpmässig initiering för MNIST Parity uppgift. För den färgade Pentomino uppgift, nu både VGG19 och ResNet modeller uppvisar trög optimering och mycket dålig test generalisering, svävar runt 30% testfel. CNN modellerna vi testade alla lära hierarkier av fullt distribuerade funktioner och därmed koda den distribuerade representationen innan. Vi motiveras av en hypotes från kognitiv neurovetenskap som poserar att den mänskliga visuella cortex moduleras (i motsats till fullt distribuerad), och att denna moduläritet tillåter den visuella cortexen att lära sig högre ordning invarianter. I detta syfte anser vi att en modulariserad variant av ResNet-modellen, kallad Residual Mixing Network (ResMixNet) som använder en blandning av experter arkitektur för att mellanhand distribuerade representationer med mer specialiserade, modulära representationer. Vi visar att mycket grunda ResMixNets är kapabla att lära sig var och en av de två uppgifterna väl, uppnå mindre än 2% och 1% testfel på MNIST Parity respektive de färgade Pentomino uppgifter respektive. Viktigast, ResMixNet modeller är extremt parameter effektiv: generalisera bättre än olika icke-modulära CNN som har över 10x antalet parametrar. Dessa experimentella resultat stöder hypotesen att modularitet är en robust föregångare för lärande invariant relationell resonemang.
REF använder en blandning av experter för visuella resonemang uppgifter där varje expert är en hög av restblock.
Modularity Matters: Learning Invariant Relational Reasoning Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Biology']}