När ett stort feedfore neuralt nätverk tränas på ett litet träningsset, det vanligtvis utför dåligt på hållna-ut testdata. Denna "övermontering" minskar kraftigt genom att slumpmässigt utelämna hälften av funktionsdetektorerna på varje träningsväska. Detta förhindrar komplexa co-anpassningar där en funktionsdetektor endast är till hjälp i samband med flera andra specifika funktionsdetektorer. I stället lär sig varje neuron att upptäcka en funktion som i allmänhet är till hjälp för att producera rätt svar med tanke på den stora variationen av inre sammanhang där den måste fungera. Random "dropout" ger stora förbättringar på många referensuppgifter och sätter nya poster för tal och objektigenkänning. Ett feedfore, artificiella neurala nätverk använder lager av icke-linjära "dolda" enheter mellan dess ingångar och dess utgångar. Genom att anpassa vikterna på de inkommande anslutningarna till dessa dolda enheter lär den sig funktionsdetektorer som gör det möjligt för den att förutsäga rätt utgång när den ges en ingångsvektor (1). Om förhållandet mellan inmatningen och rätt utgång är komplicerat och nätverket har tillräckligt med dolda enheter för att modellera den korrekt, kommer det vanligtvis att finnas många olika inställningar av vikterna som kan modellera träningssetet nästan perfekt, särskilt om det bara finns en begränsad mängd märkta träningsdata. Var och en av dessa viktvektorer kommer att göra olika förutsägelser på hållna testdata och nästan alla av dem kommer att göra sämre på testdata än på träningsdata eftersom funktionsdetektorerna har justerats för att fungera bra tillsammans på träningsdata men inte på testdata. Överbemanning kan minskas genom att använda "dropout" för att förhindra komplexa samanpassningar av träningsdata. Vid varje presentation av varje träningsfall utelämnas varje dold enhet slumpmässigt från nätverket med en sannolikhet på 0,5, så en dold enhet kan inte lita på att andra dolda enheter är närvarande. Ett annat sätt att se avhopp förfarande är som ett mycket effektivt sätt att utföra modell medelvärde med neurala nätverk. Ett bra sätt att minska felet på testsetet är att i genomsnitt använda de förutsägelser som gjorts av ett mycket stort antal olika nätverk. Standarden 1 arXiv:1207.0580v1 [cs.NE]
För att förhindra vikter i djupa neurala nätverk från co-adaptation, Hinton et al. REF introducerade avhoppstekniken, som levererar nya poster för många tal- och objektigenkänningsapplikationer.
Improving neural networks by preventing co-adaptation of feature detectors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}