Allmänt oövervakat lärande är ett långvarigt konceptuellt problem inom maskininlärning. Supervised lärande är framgångsrik eftersom det kan lösas genom minimering av utbildningsfel kostnadsfunktionen. Oförutsedd inlärning är inte lika framgångsrik, eftersom det oövervakade målet kan vara orelaterat till den övervakade uppgiften av intresse. Till exempel har modellering av densitet och återuppbyggnad ofta använts för oövervakat lärande, men de har inte producerat de eftertraktade resultatvinsterna, eftersom de inte har någon kunskap om de övervakade uppgifterna. I detta dokument presenterar vi en oövervakad kostnadsfunktion som vi namnger kostnaden för Output Distribution Matching (ODM), som mäter en skillnad mellan fördelningen av prognoser och distribution av etiketter. ODM-kostnaden är tilltalande eftersom den är förenlig med den övervakade kostnaden i följande mening: en perfekt övervakad klassificering är också perfekt enligt ODM-kostnaden. Därför, genom att aggressivt optimera ODM-kostnaden, är vi nästan garanterat att förbättra vår övervakade prestanda när utrymmet för möjliga förutsägelser är exponentiellt stort. Vi visar att ODM kostnaden fungerar bra på antal små och semiartificiella dataset med hjälp av ingen (eller nästan ingen) märkta utbildningsfall. Slutligen visar vi att ODM-kostnaden kan användas för endop-domänanpassning, vilket gör det möjligt för modellen att klassificera indata som skiljer sig från indatadistributionen på betydande sätt utan att tidigare exponering för den nya domänen behövs.
REF använde det mer allmänna begreppet "output distribution matching" (ODM).
Towards Principled Unsupervised Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}