Vi anser att problemet med utbildning input-output återkommande neurala nätverk (RNN) för sekvens märkning uppgifter. Vi föreslår en ny spektral strategi för att lära sig nätverksparametrarna. Det är baserat på nedbrytning av cross-moment tensor mellan utdata och en icke-linjär omvandling av indata, baserat på poängfunktioner. Vi garanterar konsekvent inlärning med polynom prov och beräknings komplexitet under transparenta förhållanden såsom icke-degeneracy av modellparametrar, polynomial aktiveringar för neuronerna, och en Markovian evolution av ingångssekvensen. Vi utökar också våra resultat till dubbelriktad RNN som använder både tidigare och framtida information för att skriva ut etiketten vid varje tidpunkt, och används i många NLP uppgifter såsom POS taggning. Nyligen, Janzamin et al. [7] Härledde ett nytt ramverk för input-output-modeller för utbildning inom det övervakade ramverket. Den är baserad på spektral nedbrytning av moment tensorer, som erhålls efter vissa icke-linjära omvandlingar av inmatningen. Dessa icke-linjära omvandlingar sker i form av poängfunktioner, som är beroende av generativa modeller av inmatningen. Detta ger en ny metod för överföring av generativ information, som erhållits genom oövervakad inlärning, till diskriminerande utbildning på märkta prover. Baserat på det ovan nämnda tillvägagångssättet, Janzamin et al. [8] gav garanterade riskgränser för utbildning av tvålagers feedforward neurala nätverksmodeller med polynomprov och beräkningsgränser. Förutsättningarna för att erhålla riskgränserna är milda: en liten approximation fel för målfunktionen under den givna klassen av neurala nätverk, en generativ ingång modell med en kontinuerlig distribution, och allmänna sigmoida aktiveringar på neuronerna. I detta dokument överväger vi nya spektralmetoder för att träna IO-RNN i både klassificerings- och regressionsinställningar. Den tidigare poängfunktionsmetoden för utbildning feedforward-nätverk (som beskrivs ovan) sträcker sig inte omedelbart, och det finns vissa icke-triviala utmaningar: i) Icke-linjäritet i en RNN sprids längs flera steg i sekvensen, medan i tvålagers feedforward-nätverk tillämpas icke-linjäritet endast en gång på inmatningen. Det är inte omedelbart klart hur man "untangle" alla dessa icke-linjäritet och få garanterade uppskattningar av nätverksvikterna. (ii) Lärande dubbelriktade RNNs är ännu mer utmanande eftersom rekursiva icke-linjäritet tillämpas i båda riktningarna, och (iii) Antagande av i.i.d. Input och output utbildning prover är inte längre tillämplig, och analys av koncentrationsgränser för prover som genereras från en RNN med icke-linjär tillståndsutveckling är utmanande. Vi tar itu med alla dessa utmaningar konkret i detta dokument. Våra viktigaste bidrag är: (i) nya metoder för utbildning input-output RNN och dubbelriktade RNN-modeller med hjälp av tensor nedbrytningsmetoder, (ii) garanterad återvinning av nätverksparametrar med polynomisk beräkning och urval komplexitet, och (iii) transparenta villkor för framgångsrik återhämtning baserat på icke-degeneracy av modellparametrar och begränsad utveckling av dolda tillstånd. Poängfunktionstransformationer: Utbildning input-output neurala nätverk under godtycklig inmatning är beräknings svårt. Å andra sidan visar vi att träningen blir dragbar genom spektralmetoder när inmatningen genereras från en probabilistisk modell på ett kontinuerligt tillstånd utrymme. Detta dokument kan betraktas som en studie av vad som krävs för att avslöja den ickelinjära dynamiken i systemet. Eftersom lärande under godtycklig input är extremt utmanande, försöker vi upptäcka under vilka funktioner / information om indata problemet blir kantbar. Även om detta skiljer sig från vanligt tillvägagångssätt i utbildning IO-RNNs, är detta ett lovande första steg mot att avmystifiera dessa allmänt använda modeller. Vi visar att med viss kunskap om indatadistributionen kan vi lösa det extremt svåra problemet med att träna icke-linjära IO-RNN. Vi antar kunskap om poäng funktion former, som motsvarar normaliserad
Arbetet med REF ger en momentbaserad metod för att lära sig vissa klasser av icke-linjära återkommande neurala nätverk.
Training Input-Output Recurrent Neural Networks through Spectral Methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}