De anmärkningsvärda framgångarna med djupinlärningsmodeller i olika tillämpningar har resulterat i utformning av djupare nätverk som kan lösa komplexa problem. Men det ökande djupet av sådana modeller leder också till en högre lagrings- och körtid komplexitet, vilket begränsar möjligheten att använda sådana mycket djupa modeller på mobila och bärbara enheter, som har begränsad lagringskapacitet och batterikapacitet. Även om många metoder har föreslagits för djup modellkomprimering under de senaste åren, har nästan alla av dem fokuserat på att minska lagring komplexitet. I detta arbete utökar vi ramverket för lärare och studenter för djup modellkompression, eftersom det har potential att ta itu med körtid och träna tid komplexitet också. Vi föreslår en enkel metod för att inkludera en bullerbaserad regularizer medan du utbildar studenten från läraren, vilket ger en hälsosam förbättring i prestanda för studentnätverket. Våra experiment på CIFAR-10, SVHN och MNIST dataset visar lovande förbättringar, med bästa prestanda på CIFAR-10 datasetet. Vi genomför också en omfattande empirisk utvärdering av den föreslagna metoden under relaterade inställningar på CIFAR-10-datasetet för att visa löftet om den föreslagna metoden.
Sau och Balasubramanian REF använde kunskap destillationsmetod för att komprimera nätverk baserat på lärar-student nätverksmodell och testa på MNIST dataset.
Deep Model Compression: Distilling Knowledge from Noisy Teachers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}