Neurala nätverksmodeller har rykte om sig att vara svarta lådor. Vi föreslår en ny metod för att bättre förstå rollerna och dynamiken i de mellanliggande skikten. Detta får direkta konsekvenser för utformningen av sådana modeller och gör det möjligt för experten att motivera vissa heuristiker (t.ex. hjälphuvudena i startmodellen). Vår metod använder linjära klassificeringar, kallade "sonder", där en sond endast kan använda de dolda enheterna i ett givet mellanskikt som diskriminerande egenskaper. Dessutom kan dessa sonder inte påverka träningsfasen av en modell, och de läggs i allmänhet efter träning. De gör det möjligt för användaren att visualisera modellens tillstånd i flera steg av utbildningen. Vi visar hur detta kan användas för att utveckla en bättre intuition om en känd modell och för att diagnostisera potentiella problem.
Alian och Bengio REF utvecklade intuition om den utbildade modellen genom att använda linjära klassificeringar som använder de dolda enheterna i ett givet mellanskikt som diskriminerande egenskaper.
Understanding intermediate layers using linear classifier probes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}