Intelligenta varelser kan utforska sina miljöer och lära sig användbara färdigheter utan handledning. I detta dokument föreslår vi "Mångfald är allt du behöver" (DIAYN), en metod för att lära sig användbara färdigheter utan en belöningsfunktion. Vår föreslagna metod lär sig färdigheter genom att maximera ett informationsteoretiskt mål med hjälp av en maximal entropipolicy. På en mängd olika simulerade robotiska uppgifter visar vi att detta enkla mål resulterar i en oövervakad utveckling av olika färdigheter, som att gå och hoppa. I ett antal förstärkande referensmiljöer för lärande kan vår metod lära sig en färdighet som löser referensuppgiften trots att vi aldrig får den sanna uppgiftsbelöningen. Vi visar hur förtränade färdigheter kan ge en bra parameter initialisering för nedströmsuppgifter, och kan komponeras hierarkiskt för att lösa komplexa, glesa belöningsuppgifter. Våra resultat tyder på att oövervakad kompetensutveckling kan fungera som en effektiv förutbildningsmekanism för att övervinna utmaningar när det gäller prospektering och dataeffektivitet när det gäller att stärka lärandet.
I ett parallellt arbete används mångfald som ett mått för att lära sig färdigheter utan belöningsfunktioner Eysenbach et al. Hoppa över det.
Diversity is All You Need: Learning Skills without a Reward Function
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}