Traditionellt, flera lager neurala nätverk använder punkt produkt mellan utgången vektor av tidigare lager och inkommande vikt vektor som ingång till aktiveringsfunktionen. Resultatet av punktprodukten är obundet, vilket ökar risken för stora varianser. Stor variation av neuron gör modellen känslig för förändringen av ingångsfördelningen, vilket resulterar i dålig generalisering, och förvärrar den interna kovariatförskjutningen som saktar ner träningen. För att binda punkt produkt och minska variansen, föreslår vi att använda cosinus likhet eller centrerad cosinus likhet (Pearson Correlation Coefficient) i stället för punkt produkt i neurala nätverk, som vi kallar cosinus normalisering. Vi jämför cosinus normalisering med batch, vikt och lager normalisering i fullt anslutna neurala nätverk samt konvolutionella nätverk på datamängderna av MNIST, 20NEWS GROUP, CIFAR-10/100 och SVHN. Experiment visar att cosinus normalisering uppnår bättre prestanda än andra normaliseringstekniker.
I samband med fullt anslutna neurala nätverk och konvolutionella neurala nätverk, använder REF cosinus likhet i stället för punkt produkt i beräkning ett lager pre-aktivering som en regulariseringsmekanism.
Cosine Normalization: Using Cosine Similarity Instead of Dot Product in Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}