Under de senaste åren har intresset för oövervakad inlärning av olika representationer ökat avsevärt. Det viktigaste antagandet är att verkliga data genereras av några förklarande faktorer för variation och att dessa faktorer kan återvinnas av oövervakade inlärningsalgoritmer. Ett stort antal oövervakade inlärningsmetoder som bygger på automatisk kodning och kvantitativa utvärderingsmått för disentangling har föreslagits, men ändå har effektiviteten i de föreslagna metoderna och nyttan av föreslagna begrepp om disentangling inte ifrågasatts i tidigare arbete. I detta dokument ger vi en nykter titt på den senaste tidens framsteg på området och utmanar vissa gemensamma antaganden. Vi visar först teoretiskt att det oövervakade lärandet av disentanglade representationer är i grunden omöjligt utan induktiva fördomar på både modeller och data. Sedan utbildar vi mer än 12 000 modeller som täcker de sex mest framträdande metoderna och utvärderar dem över sex disentanglingsmått i en reproducerbar storskalig experimentell studie på sju olika datamängder. På den positiva sidan observerar vi att olika metoder framgångsrikt genomdriva egenskaper "uppmuntrade" av motsvarande förluster. På den negativa sidan observerar vi i vår studie att välavskilda modeller till synes inte kan identifieras utan tillgång till mark-sanningsetiketter även om vi tillåts överföra hyperparametrar över datamängder. Dessutom tycks den ökade uppdelningen inte leda till en minskad urvals komplexitet när det gäller lärande för uppgifter i senare led. Dessa resultat tyder på att det framtida arbetet med att lösa inlärningen bör vara uttryckligt om rollen av induktiva fördomar och (implicit) övervakning, undersöka konkreta fördelar med att se till att de inlärda representationerna löses, och överväga en reproducerbar experimentell uppsättning som omfattar flera datauppsättningar.
REF har nyligen visat att utan tillgång till tillsyn eller induktiva förutfattade meningar är det omöjligt att lära sig lösa problem, eftersom det inte går att identifiera olika modeller.
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
{'venue': 'Proceedings of the 36th International Conference on Machine Learning (ICML 2019)', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}