Sekvens-till-sekvens modeller har uppnått imponerande resultat på olika uppgifter. De är dock olämpliga för uppgifter som kräver stegvisa förutsägelser när mer data anländer. Detta beror på att de genererar en utgångssekvens som är beroende av en hel ingångssekvens. I detta dokument presenterar vi en ny modell som kan göra inkrementella förutsägelser när mer input anländer, utan att göra om hela beräkningen. Till skillnad från sekvens-till-sekvens-modeller beräknar vår metod nästa steg-fördelning beroende på den partiella ingångssekvens som observerats och den partiella sekvens som genereras. Det uppnår detta mål med hjälp av encoder återkommande neurala nätverk (RNN) som beräknar funktioner med samma bildhastighet som ingång, och en givare RNN som fungerar över block av ingångssteg. Givaren RNN utökar den sekvens som produceras hittills med hjälp av en lokal sekvens-till-sekvens-modell. Under utbildningen använder vår metod anpassningsinformation för att generera övervakade mål för varje block. Ungefärlig anpassning är lätt tillgänglig för uppgifter som taligenkänning, åtgärdsigenkänning i videor, etc. Under inferens (avkodning) används strålsökning för att hitta den mest sannolika utdatasekvensen för en ingångssekvens. Denna avkodning utförs online - i slutet av varje block, de bästa kandidaterna från föregående block förlängs genom den lokala sekvens-till-sekvens-modellen. På TIMIT uppnår vår online-metod 19,8% felfrekvens (PER). För jämförelse med publicerade sekvens-till-sekvens-metoder använde vi en dubbelriktad kodare och uppnådde 18,7% PER. Detta kan jämföras med den bäst rapporterade sekvens-till-sekvens-modellen som uppnår 17,6 %. Viktigt, till skillnad från sekvens-till-sekvens modeller vår modell är minimalt påverkad av längden på inmatningen. På 10 gånger replikerade uttalanden, det uppnår 20,9 % med en enkelriktad modell, jämfört med 20% från de bästa dubbelriktade sekvens-to-sekvens modeller.
I REF, genom att dela in- och utdatasekvensen i block, är nästa steg utdatadistributionen endast betingad av den delvis observerade indatasekvensen och delvis genererad sekvens.
An Online Sequence-to-Sequence Model Using Partial Conditioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}