Sammanfattning av denna webbsida: Recurrent Neural Network (RNN) har i stor utsträckning använts för sekvensmodellering. I RNN, de dolda tillstånden i nuvarande steg är fullt anslutna till dem i tidigare steg, vilket påverkan från mindre relaterade funktioner i tidigare steg kan potentiellt minska modellens inlärningsförmåga. Vi föreslår en enkel teknik som kallas parallella celler (PC) för att förbättra inlärningsförmågan hos Recurrent Neural Network (RNN). I varje lager kör vi flera små RNN-celler snarare än en enda stor cell. I detta dokument utvärderar vi datorer på 2 uppgifter. När det gäller språkmodellering på PTB (Penn Tree Bank) överträffar vår modell toppmoderna modeller genom att minska komplexiteten från 78,6 till 75.3. På kinesisk-engelska översättning uppgift, vår modell ökar BLEU poäng för 0,39 poäng än baslinje modell. Recurrent neural network (RNN) har varit en av de mest kraftfulla sekvensmodeller i naturligt språk bearbetning. Många viktiga tillämpningar uppnår toppmodern prestanda med RNN, inklusive språkmodellering (Mikolov et al.,2010; Zaremba et al., 2014 ), maskinöversättning (Luong and Manning, 2016; Wu et al., 2016) och så vidare. De funktioner som RNN lärt sig lagras i de dolda tillstånden. Vid varje gång steg, cellen extraherar funktioner från data och uppdaterar sina dolda tillstånd. Den vänstra sidan av figur 1 visar kortfattat övergången av dolda stater i naiv RNN. Vi kan se att alla enheter i det föregående steget är helt anslutna till alla enheter i det aktuella steget. Således kan varje par av funktioner påverka varandra. Sådan design är inte verklighet eftersom många funktioner inte är så relaterade. Inverkan mellan icke-relaterade egenskaper kan skada inlärningsförmågan hos modeller. Vi kan förvänta oss att inlärningsmodeller automatiskt sätter vikten av alla onödiga anslutningar till noll. Men i praktiken, eftersom datastorleken är begränsad och algoritmerna inte är så starka, kommer dessa icke-relaterade anslutningar att skada inlärningsförmågan. Det är till exempel därför vi måste göra urval före träningen. För att ta itu med problemet har många framgångsrika neurala modeller nytta av att ersätta global anslutning med lokal anslutning. Till exempel har Long Short-Term Memory(LSTM) (Hochreiter och Schmidhuber, 1997) och Gated Recurrent Units (GRU) varit de mest populära RNN-cellerna. I kärnan, sådana modeller använder grindar för att styra dataflödet, tillåter en del av anslutningar att aktiveras. Ett annat exempel är Convolution Neural Networks(CNN) (Lecun et al, 1998), en av de mest framgångsrika modellerna inom djupinlärning nuförtiden. CNN använder lokala mottagliga fält för att extrahera funktioner från tidigare funktionskarta. Med lokala mottagliga fält, neuroner kan extrahera elementära visuella funktioner såsom orienterade kanter, ändpunkter, hörn.
En enkel teknik som kallas parallella celler för att förbättra inlärningsförmågan hos RNNs har föreslagits REF där det i varje lager finns flera små RNN-celler snarare än en enda stor cell.
Going Wider: Recurrent Neural Network With Parallel Cells
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}