Feature representationer från förtränade djupa neurala nätverk har varit kända för att uppvisa utmärkt generalisering och nytta över en mängd olika relaterade uppgifter. Finjustering är den överlägset enklaste och mest använda metoden som syftar till att utnyttja och anpassa dessa funktioner representationer till nya uppgifter med begränsade data. Trots finjusteringens effektivitet är den ofta suboptimal och kräver mycket noggrann optimering för att förhindra svår övermontering på små datauppsättningar. Problemet med sub-optimalitet och övermontering, beror delvis på det stora antalet parametrar (10 6 ) som används i en typisk djup konvolutionella neurala nätverk. För att ta itu med dessa problem föreslår vi en enkel men effektiv legaliseringsmetod för att finjustera förtränade djupa nätverk för uppgiften att lära sig k-shot. För att förhindra överbemanning är vår nyckelstrategi att samla modellparametrarna samtidigt som den säkerställer likhet inom kluster och intercluster-mångfald av parametrarna, och på ett effektivt sätt reglera dimensionaliteten hos parametern sökutrymme. I synnerhet identifierar vi grupper av neuroner inom varje skikt av ett djupt nätverk som delar liknande aktiveringsmönster. När nätverket finjusteras för en klassificeringsuppgift med bara k-exempel, sprider vi en enda gradient till alla neuronparametrar som tillhör samma grupp. Grupperingen av neuroner är icke-trivial som neuron aktiveringar beror på fördelningen av indata. För att effektivt söka efter optimala grupperingar som är beroende av indata, föreslår vi en förstärkning av lärande sökstrategi med hjälp av återkommande nätverk för att lära sig de optimala gruppuppdragen för varje nätverksskikt. Experimentella resultat visar att vår metod enkelt kan tillämpas på flera populära konvolutionella neurala nätverk och förbättra på andra state-of-the-art finjusterande baserade k-shot lärande strategier med mer än 10%.
Yoo och al. REF föreslog ett kluster av neuroner på varje skikt i nätverket och beräknade en enda gradient för alla medlemmar i ett kluster under utbildningen för att förhindra övermontering.
Efficient K-Shot Learning with Regularized Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}