Ett viktigt mål med oövervakat lärande är att upptäcka data representationer som är användbara för efterföljande uppgifter, utan tillgång till övervakade etiketter under utbildningen. Vanligtvis närmar sig detta mål genom att minimera ett surrogatmål, såsom den negativa logsannolikheten för en generativ modell, med förhoppningen att representationer användbara för efterföljande uppgifter kommer att uppstå för övrigt. I detta arbete föreslår vi istället att direkt rikta en senare önskad uppgift genom meta-lärande en oövervakad inlärningsregel, vilket leder till representationer som är användbara för den uppgiften. Här är vår önskade uppgift (meta-objektive) prestandan av representationen på halvövervakad klassificering, och vi meta-lär en algoritm - en oövervakad viktuppdatering regel - som producerar representationer som presterar väl under detta meta-mål. Dessutom begränsar vi vår oövervakade uppdateringsregel till en biologiskt motiverad, neuron-lokal funktion, som gör det möjligt att generalisera till nya neurala nätverksarkitekturer. Vi visar att den meta-lärda regeln producerar användbara funktioner och ibland överträffar befintliga oövervakade inlärningstekniker. Vi visar vidare att den meta-lärda oövervakade uppdateringsregeln generaliserar att träna nätverk med olika bredder, djup och icke-linjäritet. Det generaliserar också att träna på data med slumpmässigt permuterade ingångsmått och även generaliserar från bilddataset till en textuppgift.
Tidigare arbete har använt meta-lärande för att lära sig oövervakade inlärningsregler REF.
Learning Unsupervised Learning Rules
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}