I detta dokument undersöks effekterna av flerspråkiga (ML) akustiska representationer på automatisk taligenkänning (ASR) och sökordssökning (KWS) för lågresursspråk i samband med OpenKWS15-utvärderingen av IARPA Babel-programmet. Uppgiften är att utveckla Swahili ASR- och KWS-system inom två veckor med så lite som 3 timmars transkriberad data. Flerspråkiga akustiska representationer visade sig vara avgörande för att bygga dessa system under strikta tidsgränser. I dokumentet diskuteras flera viktiga insikter om hur dessa representationer härleds och används. För det första presenterar vi en dataprovtagningsstrategi som kan påskynda utbildningen av flerspråkiga representationer utan märkbar förlust av ASR-prestanda. För det andra visar vi att sammanslagning av olika flerspråkiga representationer som utvecklats på olika LORELEI-platser ger betydande ASR- och KWS-vinster. Högtalaranpassning och dataförstärkning av dessa representationer förbättrar både ASR- och KWS-prestanda (upp till 8,7% relativ). För det tredje, att införliva icke-ranskriberade data genom semi-övervakad inlärning, förbättrar WER och KWS prestanda. Slutligen visar vi att dessa flerspråkiga representationer avsevärt förbättrar ASR och KWS prestanda (relativ 9% för WER och 5% för MTWV) även när fyrtio timmars transkriberad ljud i målspråket är tillgänglig. Flerspråkiga representationer bidrog i hög grad till att LORELEI KWS-systemen vann OpenKWS15-utvärderingen.
Dessutom kan provtagningsstrategier också vara till hjälp för att påskynda utbildningsprocessen REF.
Multilingual representations for low resource speech recognition and keyword search
{'venue': '2015 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU)', 'journal': '2015 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU)', 'mag_field_of_study': ['Computer Science']}