Den senaste "Lottery Ticket Hypothesis" papper av Frankle & Carbin visade att en enkel metod för att skapa glesa nätverk (håll de stora vikterna) resulterar i modeller som kan tränas från grunden, men bara när man börjar från samma ursprungliga vikter. Dessa näts prestanda överstiger ofta prestandan för den icke-sparse basmodellen, men av orsaker som inte var välförståeliga. I detta dokument studerar vi de tre kritiska komponenterna i algoritmen Lottery Ticket (LT), som visar att var och en kan varieras avsevärt utan att påverka de övergripande resultaten. Att ta bort dessa faktorer leder till nya insikter om varför LT-nätverk fungerar lika bra som de gör. Vi visar varför inställning av vikter till noll är viktigt, hur skyltar är allt du behöver för att göra det re-initierade nätverkståget, och varför maskering beter sig som träning. Slutligen upptäcker vi existensen av Supermasks, eller masker som kan appliceras på ett otränat, slumpmässigt initierat nätverk för att producera en modell med prestanda mycket bättre än chans (86% på MNIST, 41% på CIFAR-10).
Zhou m.fl. REF genomför ablation studier på lotter hypotes och visar bland annat vikten av tecknen på återställning vikter.
Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}