Avhopp utbildning, ursprungligen utformad för djupa neurala nätverk, har varit framgångsrik på högdimensionella enskikts naturliga språkuppgifter. Denna uppsats föreslår en teoretisk förklaring till detta fenomen: vi visar att, under en generativ Poisson ämnesmodell med långa dokument, avhopp utbildning förbättrar exponenten i generaliseringen bundet för empirisk riskminimering. Dropout uppnår denna vinst i stort sett som en maratonlöpare som tränar på höjden: när en classifier lär sig att prestera någorlunda bra på träningsexempel som har blivit artificiellt korrumperade av avhopp, kommer det att göra mycket bra på det ofördärvade testet. Vi visar också att avhopp under liknande förhållanden bevarar Bayes beslutsgräns och därför bör leda till minimala förutfattade meningar i höga dimensioner.
Lönare m.fl. har visat att under en generativ Poisson ämnesmodell med långa dokument, Dropout utbildning förbättrar exponenten i generaliseringen bundet för empirisk riskminimering REF.
Altitude Training: Strong Bounds for Single-Layer Dropout
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}