Inlärningen av domäninvarianta representationer i samband med domänanpassning med neurala nätverk beaktas. Vi föreslår en ny legaliseringsmetod som minimerar de domänspecifika latenta funktionernas representationer direkt i det dolda aktiveringsutrymmet. Även om det finns vissa standardmetoder för fördelningsmatchning som kan tolkas som matchning av viktade ögonblickssummor, t.ex. Maximal genomsnittlig diskretion, en explicit ordningsmässig matchning av högre ordermoment har inte beaktats tidigare. Vi föreslår att matcha de högre ordningen centrala ögonblicken av sannolikhetsfördelningar med hjälp av ordning-vis ögonblick skillnader. Vår modell kräver inte beräkningsmässigt dyra avstånds- och kärnmatrisberäkningar. Vi använder motsvarande representation av sannolikhetsfördelningar genom momentsekvenser för att definiera en ny distansfunktion, kallad Central Moment Discrepancy (CMD). Vi bevisar att CMD är ett mått på uppsättningen sannolikhetsfördelningar på ett kompakt intervall. Vi bevisar vidare att konvergens av sannolikhetsfördelningar på kompakta intervall w. r. t. den nya metriska innebär konvergens i fördelningen av respektive slumpmässiga variabler. Vi testar vår strategi på två olika referensdatauppsättningar för objektigenkänning (Office) och känsloanalys av produktrecensioner (Amazon reviews). CMD uppnår en ny state-of-the-art prestanda på de flesta domänanpassningsuppgifter Office och överträffar nätverk utbildade med maximal genomsnittlig Discrepancy, Varial Fair Autoencoders och Domain Adversarial Neural Networks på Amazon recensioner. Dessutom visar en post-hoc parameter sensitivity analys att den nya metoden är stabil w. r. t. parameter förändringar i ett visst intervall. Källkoden för experimenten är allmänt tillgänglig 1.
Andra metoder använder central moment diskrepans (CMD) metod REF för att uttryckligen matcha varje order och varje dold koordinat av högre ordning ögonblick.
Central Moment Discrepancy (CMD) for Domain-Invariant Representation Learning
{'venue': 'International Conference on Learning Representations (ICLR), 2017', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}