I detta dokument föreslår vi att man upptäcker missmatchningar mellan tal och transkriptioner med hjälp av djupa neurala nätverk. Även om det allmänt antas att det inte finns någon missmatchning i vissa talrelaterade program, är det svårt att undvika fel på grund av en eller annan anledning. Dessutom leder användningen av uppgifter som inte stämmer överens med varandra sannolikt till minskad prestanda när man utbildar en modell. I vårt arbete, istället för att upptäcka felen genom att beräkna avståndet mellan manuella transkriptioner och textsträngar som erhållits med hjälp av en taligenkänning, ser vi missmatchning upptäckt som en klassificering uppgift och slå samman tal och transkription funktioner med hjälp av djupa neurala nätverk. För att förbättra detektionsförmågan använder vi crossmodal uppmärksamhetsmekanism i vårt tillvägagångssätt genom att lära oss relevansen mellan de egenskaper som erhålls från de två metoderna. För att utvärdera effektiviteten i vårt tillvägagångssätt testar vi det på Faktoriserad WSJCAM0 genom att slumpmässigt ställa in tre typer av missmatchning, ordradering, införande eller substitution. För att testa dess robusthet utbildar vi våra modeller med hjälp av ett litet antal prover och upptäcker missmatchning med olika antal ord som tas bort, infogas och ersätts. I våra experiment visar resultaten att användningen av vår metod för att upptäcka missmatchningar ligger nära 80 % vid införande och radering och överträffar baslinjen.
Eftersom deras mål liknar vårt, använder vi REF som ett av baslinjerna i våra experiment.
Detecting Mismatch Between Speech and Transcription Using Cross-Modal Attention
{'venue': 'INTERSPEECH 2019', 'journal': None, 'mag_field_of_study': ['Computer Science']}