Moderna neurala nätverk är vanligtvis utbildade i en överparameteriserad regim där parametrarna i modellen långt överstiger storleken på träningsdata. På grund av överparameterisering dessa neurala nätverk i princip har kapacitet att (över)passa alla uppsättningar av etiketter inklusive rent buller. Trots denna höga monteringskapacitet, något paradoxalt, neurala nätverk modeller tränas via första ordningen metoder fortsätter att förutsäga väl på ännu osynliga testdata. I detta dokument tar vi ett steg mot att avmystifiera dessa fenomen. I synnerhet visar vi att första order metoder såsom lutning nedstigning är bevisligen robust för buller/korruption på en konstant bråkdel av etiketter trots överparametrisering under en rik datauppsättning modell. I synnerhet: i) Först, Vi visar att i de första få iterationer där uppdateringarna är fortfarande i närheten av initiering dessa algoritmer bara passar till rätt etiketter i huvudsak ignorera de bullriga etiketter. ii) För det andra visar vi att för att börja överpassa till de bullriga etiketterna måste dessa algoritmer avvika ganska långt från den ursprungliga modellen som bara kan inträffa efter många fler iterationer. Tillsammans visar dessa att lutning nedstigning med tidigt stopp är bevisligen robust för att märka buller och sprida ljus på empirisk robusthet djupa nätverk samt allmänt antagna heuristik för att förhindra övermontering.
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. REF gav den kanske första teoretiska motiveringen för tidigt stopp för att uppnå robusthet, genom att visa att lutning nedstigning med tidigt stopp är bevisligen robust för att märka buller för överparameteriserade nät.
Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}