Stochastiska neuroner och hårda icke-linjäriteter kan vara användbara av ett antal skäl i djupt lärande modeller, men i många fall utgör de ett utmanande problem: hur man uppskattar lutningen av en förlustfunktion med avseende på inmatningen av sådana stokastiska eller icke-smooth neuroner? Dvs., kan vi "bakåt-propagate" genom dessa stokastiska nervceller? Vi undersöker denna fråga, befintliga tillvägagångssätt, och jämför fyra familjer av lösningar, som är tillämpliga i olika miljöer. En av dem är den minsta variansen objektiv gradient estimator för stochatiska binära neuroner (ett specialfall av REINFORCE algoritm). En andra metod, som introduceras här, dekomponerar driften av en binär stokastisk neuron i en stokastisk binär del och en jämn differential del, som approximerar den förväntade effekten av den rena stochatiska binär neuron till första ordningen. En tredje metod innebär insprutning av additivt eller multiplikativt buller i ett beräkningsdiagram som annars kan skiljas åt. En fjärde metod heuritiskt kopierar lutningen med avseende på den stokastiska utgången direkt som en uppskattning av lutningen med avseende på sigmoid argumentet (vi kallar detta den rakt-genom uppskattning). För att utforska ett sammanhang där dessa skattningar är användbara, anser vi en småskalig version av villkorlig beräkning, där glesa stokastiska enheter bildar en distribuerad representation av grindar som kan stängas av i kombinatoriskt många sätt stora bitar av den beräkning som utförs i resten av det neurala nätverket. I detta fall är det viktigt att gatingenheterna producerar en faktisk 0 för det mesta. Den resulterande sparsamheten kan potentiellt utnyttjas för att avsevärt minska beräkningskostnaderna för stora djupa nät för vilka villkorlig beräkning skulle vara användbar.
NASH föreslog att Gaussian tidigare i VDSH skulle ersättas med en Bernoulli innan man tog itu med detta problem, genom att använda en straight-through uppskattning eller REF för att uppskatta lutningen av neurala nätverk som involverar de binära variablerna.
Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}