Sekvens-till-sekvens modeller förlitar sig på en fast nedbrytning av målsekvenserna i en sekvens av polletter som kan vara ord, ordstycken eller tecken. Valet av dessa tokens och nedbrytningen av målsekvenserna i en sekvens av tokens är ofta statiskt, och oberoende av inmatningen, utdatadomäner. Detta kan potentiellt leda till ett suboptimalt val av symboliska ordböcker, eftersom nedbrytningen inte är informerad av det särskilda problemet som är löst. I detta dokument presenterar vi Latent Sequence Decompositions (LSD), ett ramverk där nedbrytningen av sekvenser i konstituerande polletter lärs under utbildningen av modellen. Förruttnelsen beror både på indatasekvensen och på utdatasekvensen. I LSD, under utbildningen, sönderdelas modellproven stegvis från vänster till höger genom lokal provtagning mellan giltiga förlängningar. Vi experimenterar med Wall Street Journals taligenkänningsuppgift. Vår LSD-modell uppnår 12,9% WER jämfört med en teckenbaslinje på 14,8% WER. I kombination med ett konvolutionsnätverk på kodaren uppnår vi en WER på 9,6%.
Denna idé utforskades också i REF i samband med sekvens-till-sekvens-modeller.
Latent Sequence Decompositions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}