Att lära sig med återkommande neurala nätverk (RNN) på långa sekvenser är en svår uppgift. Det finns tre stora utmaningar: 1) extrahera komplexa beroenden, 2) försvinna och exploderande gradienter, och 3) effektiv parallellisering. I detta dokument introducerar vi en enkel men effektiv anslutningsstruktur för RNN, DILADERRNN, som samtidigt tar itu med alla dessa utmaningar. Den föreslagna arkitekturen kännetecknas av multi-upplösta dilaterade återkommande hoppa anslutningar, och kan kombineras flexibelt med olika RNN-celler. Dessutom minskar DILADERRNN antalet parametrar och förbättrar träningseffektiviteten avsevärt, samtidigt som den matchar toppmoderna prestanda (även med Vanilla RNN-celler) i uppgifter som omfattar mycket långsiktiga beroenden. För att ge en teoribaserad kvantifiering av arkitekturens fördelar inför vi ett mått på minneskapaciteten - den genomsnittliga återkommande längden, som är mer lämplig för RNN:er med långa hoppanslutningar än befintliga åtgärder. Vi bevisar noggrant fördelarna med DILADERRNN över andra återkommande neurala arkitekturer.
Till exempel föreslog REF utvidgade återkommande hoppa anslutningar.
Dilated Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}