Nya studier visar att ett djupt neuralt nätverk kan lära överförbara funktioner som generaliserar väl till nya uppgifter för domänanpassning. Eftersom djupa funktioner så småningom övergår från allmän till specifik längs nätverket, sjunker funktionen överförbarhet avsevärt i högre lager med ökande domänavvikelse. Därför är det viktigt att formellt minska domänfördelen och förbättra överförbarheten i uppgiftsspecifika skikt. I detta dokument föreslår vi en ny Deep Adaptation Network (DAN) arkitektur, som generaliserar djupa konvolutionella neurala nätverk till domänanpassning scenariot. I DAN är dolda representationer av alla aktivitetsspecifika lager inbäddade i ett reproducerande kärna Hilbert-utrymme där de genomsnittliga inbäddningarna av olika domändistributioner uttryckligen kan matchas. Avvikelsen i domänen minskas ytterligare med hjälp av en optimal urvalsmetod med flera kernlar för genomsnittlig inbäddning av matchningar. DAN kan lära sig invarianta funktioner med förbättrad överförbarhet, och kan skala linjärt genom en opartisk uppskattning av kärnans inbäddning. Omfattande empiriska belägg visar att den föreslagna arkitekturen avsevärt överträffar de senaste resultaten på standardriktmärken för domänanpassning.
Referens REF bäddar in multi-kärnan MMD i uppgiftsspecifika lager för att ytterligare förbättra funktionen överförbarhet.
Learning Transferable Features with Deep Adaptation Networks
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}