Vi introducerar nya tekniker för att extrahera, analysera och visualisera textinnehåll från instruktionsvideor av låg produktionskvalitet. Med hjälp av Automatic Speech Recognition, ungefärliga utskrifter (-75% Word Error Rate) erhålls från de ursprungligen starkt komprimerade videor av universitetskurser, som var och en omfattar mellan 10 och 30 föreläsningar. Textmaterial i form av böcker eller papper som medföljer kursen används sedan för att filtrera meningsfulla fraser från de till synes osammanhängande utskrifterna. Det resulterande indexet i utskrifterna knyts samman och visualiseras i 3 experimentella grafer som hjälper till att förstå den övergripande kursstrukturen och utgör ett verktyg för att lokalisera vissa ämnen för indexering. Vi diskuterar specifikt en Transcript Index Map, som grafiskt lägger ut nyckelfraser för en kurs, en Textbok Kapitlet till Transcript Match, och slutligen en Föreläsning Transcript Likhet diagram, som samlar semantiskt liknande föreläsningar. Vi testar våra metoder och verktyg på 7 hela kurser med 230 timmars video och 273 utskrifter. Vi kan extrahera upp till 98 unika nyckeltermer för en given utskrift och upp till 347 unika nyckeltermer för en hel kurs. Exaktheten i textboken kapitlet till Transcript Match överstiger 70% i genomsnitt. De metoder som används kan tillämpas på genrer av video där det finns återkommande tematiska ord (nyheter, sport, möten,...)
REF introducerade tekniker för att extrahera, analysera och visualisera textinnehåll från instruktionsvideor.
Analysis and Visualization of Index Words from Audio Transcripts of Instructional Videos
{'venue': 'IEEE Sixth International Symposium on Multimedia Software Engineering', 'journal': 'IEEE Sixth International Symposium on Multimedia Software Engineering', 'mag_field_of_study': ['Computer Science']}