En teknik för att visualisera utbildningen av neurala nätverk är att utföra PCA på parametrarna under utbildningens gång och att projicera till subrymden som spänns av de första få PCA-komponenterna. I detta papper jämför vi denna teknik med PCA av en högdimensionell slumpmässig gång. Vi beräknar eigenvärden och eigenvectors av covariansen av banan och bevisar att i den långa banan och högdimensionell gräns de flesta av variansen är i de första få PCA-komponenter, och att projektionen av banan på någon subrymd spänns av PCA-komponenter är en Lissajous kurva. Vi generaliserar dessa resultat till en slumpmässig gång med momentum och till en Ornstein-Uhlenbeck-process (d.v.s. en slumpmässig promenad i en kvadratisk potential) och visar att i höga dimensioner är vandringen inte menad att återgå, utan istället kommer att fångas på ett fast avstånd från minimum. Vi jämför slutligen fördelningen av PCA-varianser och PCA projicerade träningsbanor av en linjär modell tränad på CIFAR-10 och ResNet-50-v2 tränad på Imagenet och finner att fördelningen av PCA-varianser liknar en slumpmässig gång med drift.
Dessutom har detta tillvägagångssätt kritiserats av REF, som visade att utföra PCA på högdimensionella slumpmässiga promenader alltid resulterar i Lissajous banor.
PCA of high dimensional random walks with comparison to neural network training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}