På grund av förmågan hos djupa neurala nät att lära sig rika representationer, nyligen framsteg i oövervakad domänanpassning har fokuserat på att lära domän-invarianta funktioner som uppnår ett litet fel på källdomänen. Förhoppningen är att den inlärda representationen, tillsammans med hypotesen från källdomänen, kan generaliseras till måldomänen. I detta dokument konstruerar vi först ett enkelt motexempel som visar att de ovan nämnda villkoren, tvärtemot vad man tror, inte är tillräckliga för att garantera en framgångsrik domänanpassning. I synnerhet motexemplet (Fig. 1 ) uppvisar villkorlig förskjutning: de klassvillkorade fördelningarna av indatafunktioner ändras mellan käll- och måldomäner. För att ge ett tillräckligt villkor för domänanpassning, föreslår vi en naturlig och tolkningsbar generalisering övre gräns som uttryckligen tar hänsyn till ovannämnda skifte. Dessutom kastar vi nytt ljus över problemet genom att bevisa en informations-teoretisk lägre gräns på det gemensamma felet hos alla domänanpassningsmetoder som försöker lära sig invarianta representationer. Vårt resultat karakteriserar en grundläggande avvägning mellan lärande invarianta representationer och att uppnå små gemensamma fel på båda områdena när marginal märkning distributioner skiljer sig från källa till mål. Slutligen utför vi experiment på verkliga datauppsättningar som bekräftar våra teoretiska resultat. Vi anser att dessa insikter är till hjälp för att vägleda den framtida utformningen av domänanpassning och representation lärande algoritmer.
I denna riktning, Zhao et al införa en teoretisk analys för att visa att endast lärande domäninvarianta funktioner inte är tillräckligt för att lösa domänanpassning uppgift eftersom etiketten tidigare inte är anpassade REF.
On Learning Invariant Representation for Domain Adaptation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}