Vi introducerar en teknik baserad på den singular vektor kanoniska korrelationsanalys (SVCCA) för att mäta generaliteten av neurala nätverkslager över en kontinuerligt parametriserad uppsättning uppgifter. Vi illustrerar denna metod genom att studera generalitet i neurala nätverk tränade för att lösa parametriserade gränsvärdesproblem baserat på Poisson partiell differentialekvation. Vi finner att det första dolda lagret är allmänt, och att djupare lager successivt är mer specifika. Därefter validerar vi vår metod mot en befintlig teknik som mäter lager generalitet med hjälp av överföringslärande experiment. Vi finner utmärkt enighet mellan de två metoderna, och noterar att vår metod är mycket snabbare, särskilt för kontinuerligtparametriserade problem. Slutligen visualiserar vi de allmänna representationerna av de första skikten, och tolkar dem som generaliserade koordinater över inmatningsdomänen.
Den unika kanoniska korrelationsanalysen (SVCCA) introduceras för att ytterligare förbättra denna metod i REF.
Neural Networks Trained to Solve Differential Equations Learn General Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Physics']}