Under det senaste årtiondet har det funnits ett stort intresse för spektralalgoritmer för att lära sig prediktiva statliga representationer (PSR). Spektrala algoritmer har tilltalande teoretiska garantier, men de resulterande modellerna utför inte alltid bra inferensuppgifter i praktiken. En orsak till detta beteende är missmatchningen mellan den avsedda uppgiften (korrekt filtrering eller förutsägelse) och förlustfunktionen som optimeras av algoritmen (skattningsfel i modellparametrar). En naturlig idé är att förbättra prestandan genom att förfina PSR med hjälp av en algoritm som EM. Tyvärr är det inte uppenbart hur man ska tillämpa en EM-stilsalgoritm i samband med PSR:er eftersom Log Sanelihood inte är väl definierad för alla PSR:er. Vi visar att det är möjligt att lösa detta problem med hjälp av idéer från Prediktiva State Inference Machines (Sun et al., 2016). Vi kombinerar spektralalalgoritmer för PSRs som en konsekvent och effektiv initialisering med PSIMstyle-uppdateringar för att förfina de resulterande modellparametrarna. Genom att kombinera dessa två idéer utvecklar vi Inference Gradients, en enkel, snabb och robust metod för praktisk inlärning av PSR. Inferensgradienter utför gradientnedstigning i PSR-parameterutrymmet för att optimera en inferensbaserad förlustfunktion som PSIM. Eftersom Inference Gradients använder en spektral initiering får vi samma konsistens fördelar som PSRs. Vi visar att Inference Gradients överträffar både PSR och PSIM på verkliga och syntetiska datamängder.
Downey och Al. REF föreslår en tvåstegsalgoritm för lärande av diskreta PSR, bestående av en spektral initialisering följt av BPTT.
Practical Learning of Predictive State Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}