När man närmar sig ett nytt visuellt igenkänningsproblem i en specialiserad bilddomän, är en gemensam strategi att börja med ett förtränat djupt neuralt nätverk och finjustera det till den specialiserade domänen. Om måldomänen täcker ett mindre visuellt utrymme än källdomänen som används för förträning (t.ex. ImageNet), är det finjusterade nätverket sannolikt att vara överparameterized. Att använda nätverksbeskärning som ett steg efter bearbetningen för att minska minneskraven har dock nackdelar: finjustering och beskärning utförs självständigt; beskärningsparametrar ställs in en gång och kan inte anpassas över tid; och den mycket parameteriserade karaktären hos toppmoderna beskärningsmetoder gör det oöverkomligt att manuellt söka i beskärningsparameterutrymmet för djupa nätverk, vilket leder till grova approximationer. Vi föreslår en principiell metod för att gemensamt finjustera och komprimera ett förskolat konvolutionsnätverk som övervinner dessa begränsningar. Experiment på två specialiserade bilddomäner (fjärranalysbilder och urskiljbara texturer) visar den föreslagna metodens giltighet.
I REF föreslår författarna en metod för att gemensamt finjustera och komprimera ett förtränat neuralt nätverk för att anpassa nätverket till en mer specialiserad domän än förutbildningen domän, för att undvika överbemanning på grund av överparametrisering.
Fine-Pruning: Joint Fine-Tuning and Compression of a Convolutional Network with Bayesian Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}