Representationer av data som är invariant till förändringar i specificerade faktorer är användbara för ett brett spektrum av problem: ta bort potentiella fördomar i förutsägelseproblem, kontrollera effekterna av kovariater, och disentangling meningsfulla faktorer för variation. Tyvärr, lärande representationer som uppvisar variabilitet till godtyckliga olägenheter faktorer fortfarande är användbart för andra uppgifter är utmanande. Befintliga metoder kastar kompromissen mellan uppgiftsprestanda och invariant på ett kontradiktoriskt sätt, med hjälp av en iterativ minimax optimering. Vi visar att kontradiktorisk utbildning är onödig och ibland kontraproduktiv; vi kastar istället invarianta representationsinlärning som ett enda informations-teoretiskt mål som kan optimeras direkt. Vi visar att detta tillvägagångssätt stämmer överens med eller överskrider prestandan hos de senaste kontradiktoriska metoderna för att lära sig rättvisa representationer och för generativ modellering med kontrollerbara omvandlingar.
Det är värt att notera att REF hävdar att kontradiktorisk utbildning för rättvisa och oföränderlighet är onödig och ibland leder till att man motverkar produktiva resultat.
Invariant Representations without Adversarial Training
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}