Vi föreslår en ny teknik för snabbare Neural Network (NN) utbildning genom att systematiskt approximera alla ingående matris multiplikationer och konvolutioner. Detta tillvägagångssätt kompletterar andra approximeringsmetoder och kräver inga ändringar av nätverksskiktens dimensioner, vilket är förenligt med befintliga utbildningsramar. Vi analyserar först tillämpligheten av de befintliga metoderna för att approximera matrismultiplikation till NN-utbildning, och utökar den mest lämpliga kolonnradsprovtagningsalgoritmen till att approximera flerkanalskonvolutioner. Vi tillämpar ungefärliga tensor operationer för utbildning MLP, CNN och LSTM nätverksarkitekturer på MNIST, CIFAR-100 och Penn Tree Bank datauppsättningar och visar 30%-80% minskning av mängden beräkningar samtidigt som liten eller ingen påverkan på testnoggrannheten. Våra lovande resultat uppmuntrar till ytterligare studier av allmänna metoder för att tillnärma tensoroperationer och deras tillämpning på NN-utbildning.
REF minskar komplexiteten i matrisen multiplikation genom approximationer genom en form av kolonnradsprovtagning.
Faster Neural Network Training with Approximate Tensor Operations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}