För de flesta djupt lärande utövare är sekvensmodellering synonymt med återkommande nätverk. Men de senaste resultaten visar att konvolutionella arkitekturer kan överträffa återkommande nätverk på uppgifter som ljudsyntes och maskinöversättning. Med tanke på en ny sekvensmodellering uppgift eller datauppsättning, vilken arkitektur bör man använda? Vi genomför en systematisk utvärdering av generiska konvolutionella och återkommande arkitekturer för sekvensmodellering. Modellerna utvärderas över ett brett spektrum av standarduppgifter som ofta används för att jämföra återkommande nätverk. Våra resultat tyder på att en enkel konvolutionell arkitektur överträffar kanoniska återkommande nätverk som LSTMs över en mängd olika uppgifter och datauppsättningar, samtidigt som den visar längre effektivt minne. Vi drar slutsatsen att den gemensamma kopplingen mellan sekvensmodellering och återkommande nätverk bör omprövas och att konvolutionsnätverk bör betraktas som en naturlig utgångspunkt för sekvensmodelleringsuppgifter. För att underlätta tillhörande arbete har vi gjort koden tillgänglig på http://github.com/locuslab/TCN.
Dessutom introducerade maskininlärningsavdelningen vid Carnegie Mellon University en generisk konvolutionell arkitektur, temporal convolutional network REF, för sekvensmodellering.
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}