Återkommande neurala nätverk (RNN) har varit utomordentligt framgångsrika för förutsägelse med sekventiella data. För att ta itu med mycket varierande och bullriga verkliga data, introducerar vi partikelfilter Recurrent Neural Networks (PF-RNNs), en ny RNN familj som uttryckligen modellerar osäkerhet i sin interna struktur: medan en RNN bygger på en lång, deterministisk latent tillstånd vektor, en PF-RNN upprätthåller en latent tillståndsfördelning, ungefärlig som en uppsättning partiklar. För effektiv inlärning tillhandahåller vi en helt differentierad partikelfilteralgoritm som uppdaterar PF-RNN latent state-distribution enligt Bayes-regeln. Experiment visar att de föreslagna PF-RNNs överträffar motsvarande standardgrind RNNs på en syntetisk robot lokaliseringsdataset och 10 verkliga sekvens förutsägelser dataset för textklassificering, aktieprisförutsägelse, etc. * lika bidrag Preprint. Under granskning. Det är viktigt att se till att det finns tillräckligt med information för att det ska vara möjligt att få tillgång till den information som krävs för att det ska gå att få tillgång till den information som krävs för att det ska vara möjligt att få tillgång till den information som krävs för att det ska vara möjligt att få tillgång till den information som krävs för att det ska gå att få tillgång till den information som behövs för att det ska gå att få tillgång till den information som krävs för att det ska gå att få tillgång till den information som behövs för att den ska bli tillgänglig för allmänheten. Vi tillämpar idén specifikt på LSTM och GRU och konstruerar PF-LSTM respektive PF-GRU. Våra resultat visar att PF-RNNs överträffar motsvarande RNNs på olika sekvensförutsägelse uppgifter, inklusive textklassificering, aktivitetsigenkänning, aktieprisförutsägelse, robot lokalisering, etc. Olika aspekter av PF-RNN-metoden ger möjligheter till ytterligare undersökningar. För närvarande gör PF-RNN en förutsägelse med medelvärdet av partikel tro. Ett alternativ är att aggregera partiklar, t.ex. genom att uppskatta ögonblick med högre ordning, uppskatta entropin, bifoga ytterligare en RNN [15] eller tillämpa en uppmärksamhetsmekanism [34]. PF-RNN kan fungera som drop-in ersättare för RNN. Medan detta arbete fokuserar på sekvensförutsägelse och klassificering, kan idén tillämpas lika bra på sekvensgenerering och sekvens-till-sekvens-förutsägelse, med tillämpning på t.ex. bildtextning och maskinöversättning.
REF integrerade partikelfiltret med standard RNN, t.ex. LSTM, och införde PF-RNN för sekvensprognoser.
Particle Filter Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}