Att lära sig både hierarkisk och timlig representation har varit en av de långvariga utmaningarna med återkommande neurala nätverk. Flerskaliga återkommande neurala nätverk har ansetts vara ett lovande tillvägagångssätt för att lösa denna fråga, men det har saknats empiriska bevis som visar att denna typ av modeller faktiskt kan fånga temporal beroenden genom att upptäcka latent hierarkisk struktur av sekvensen. I detta dokument föreslår vi ett nytt flerskaligt tillvägagångssätt, som kallas det hierarkiska flerskaliga återkommande neurala nätverket, som kan fånga den latenta hierarkiska strukturen i sekvensen genom att koda tidsberoendena med olika tidsskalor med hjälp av en ny uppdateringsmekanism. Vi visar vissa belägg för att den föreslagna modellen kan upptäcka underliggande hierarkisk struktur i sekvenserna utan att använda explicit gränsinformation. Vi utvärderar vår föreslagna modell på tecken-nivå språkmodellering och handstil sekvensgenerering.
Chung m.fl. REF föreslog en modell som kodar tidsberoendena med olika tidsskalor genom att uppdatera sannolikheterna för olika enheter för att fånga den latenta hierarkiska strukturen i sekvensen.
Hierarchical Multiscale Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}