Djupa flerlagers neurala nätverk har många nivåer av icke-linjäritet, vilket gör att de potentiellt representerar mycket kompakt mycket icke-linjära och mycket varierande funktioner. Fram till nyligen var det dock inte klart hur man ska träna så djupa nätverk, eftersom gradientbaserad optimering från slumpmässig initiering ofta verkar fastna i dåliga lösningar. Hinton m.fl. nyligen infört en girig lagervis oövervakad inlärningsalgoritm för Deep Belief Networks (DBN), en generativ modell med många lager av dolda kausala variabler. I samband med ovanstående optimeringsproblem studerar vi denna algoritm empiriskt och utforskar varianter för att bättre förstå dess framgång och utvidga den till fall där ingångarna är kontinuerliga eller där strukturen på indatadistributionen inte avslöjar tillräckligt om variabeln som ska förutsägas i en övervakad uppgift.
Bengio m.fl. Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. REF föreslog giriga lagervis oövervakad utbildningsstrategi för utbildning av ett djupnätverk i flera skikt.
Greedy layer-wise training of deep networks
{'venue': 'In NIPS', 'journal': None, 'mag_field_of_study': ['Computer Science']}