Ett ökande antal välutbildade djupa nätverk har släppts online av forskare och utvecklare, vilket gör det möjligt för samhället att återanvända dem på ett plug-and-play sätt utan att få tillgång till utbildningsanteckningarna. På grund av det stora antalet nätverksvarianter är sådana allmänt tillgängliga utbildade modeller ofta av olika arkitekturer, som var och en skräddarsys för en specifik uppgift eller datauppsättning. I det här dokumentet studerar vi en djupgående modell för återanvändning, där vi ges som input förträngda nätverk av heterogena arkitekturer som specialiserar sig på distinkta uppgifter, som lärarmodeller. Vi strävar efter att lära oss en mångfacetterad och lättviktig studentmodell som kan ta till sig den integrerade kunskapen från alla sådana heterogena lärare, återigen utan att få tillgång till någon mänsklig notation. I detta syfte föreslår vi ett gemensamt system för inlärning, där alla lärares egenskaper omvandlas till ett gemensamt utrymme och studenten tvingas imitera dem alla för att förena den intakta kunskapen. Vi testar det föreslagna tillvägagångssättet på en lista över riktmärken och visar att den studerande kan uppnå mycket lovande prestationer, överlägsna lärarnas i sina specialiserade uppgifter.
CFL REF destillerar kunskapen genom att lära sig ett gemensamt utrymme, där studentmodellen efterliknar lärarnas förändrade egenskaper till aggregerad kunskap.
Knowledge Amalgamation from Heterogeneous Networks by Common Feature Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}