Lotteri biljett hypotesen föreslår att överparameterisering av djupa neurala nätverk (DNNs) hjälper utbildning genom att öka sannolikheten för en "tur" subnätverk initialisering är närvarande snarare än genom att hjälpa optimeringsprocessen [8]. Detta fenomen är spännande och tyder på att initialiseringsstrategier för DNNs kan förbättras avsevärt, men lotteri biljetthypotesen har först tidigare testats i samband med övervakad lärande för naturliga bilduppgifter. Här utvärderar vi om "vinnande biljett" initialiseringar finns inom två olika områden: förstärka lärande (RL) och i naturligt språk bearbetning (NLP). För RL analyserade vi ett antal diskreta rymduppgifter, inklusive både klassisk kontroll och pixelstyrning. För NLP undersökte vi både återkommande LSTM-modeller och storskaliga Transformer-modeller [30]. I överensstämmelse med arbetet i övervakad bildklassificering, bekräftar vi att vinnande biljett initialiseringar i allmänhet överträffar parametermatchade slumpmässiga initialiseringar, även vid extrema beskärningshastigheter. Tillsammans tyder dessa resultat på att lotthypotesen inte är begränsad till övervakad inlärning av naturliga bilder, utan snarare representerar ett bredare fenomen i DNNs.
Dessutom bekräftar REF att vinnande biljett initialiseringar finns i LSTM och NLP uppgifter.
Playing the lottery with rewards and multiple languages: lottery tickets in RL and NLP
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}