Vi utvecklade NameIt, ett system som associerar ansikten och namn i nyhetsvideor. Den behandlar information från videorna och kan sluta sig till möjliga namnkandidater för ett visst ansikte eller hitta ett ansikte i nyhetsvideor vid namn. För att utföra denna uppgift, systemet tar en multimodal videoanalys metod: ansikte sekvens extraktion och likhet utvärdering från videor, namn extraktion från utskrifter, och video-caption igenkänning. T han Name-It system 1,2 associerar namn och ansikten i nyhetsfilmer. Anta att vi tittar på ett TV-program. När personer vi inte känner visas i nyhetsvideon, kan vi till slut identifiera de flesta av dem genom att bara titta på videon. För att göra detta, upptäcker vi ansikten från en nyhetsvideo, hitta namn i ljudspåret, och sedan associera varje ansikte till rätt namn. För ansiktsnamn association, använder vi så många tips som möjligt baserat på struktur, sammanhang, och innebörd av nyhetsvideo. Vi behöver inga ytterligare kunskaper såsom tidningar som innehåller beskrivningar av personer eller biografiska ordböcker med bilder. På liknande sätt kan Name-It associera ansikten i nyhetsvideor med deras rätta namn utan att använda en priori ansikte namn förening set. Med andra ord, Name-It extraherar ansikte namnkorrespondenser endast från nyhetsvideor. Namn-Det krävs en multimodal strategi för att utföra denna uppgift. Till exempel använder den flera informationskällor som finns tillgängliga från nyhetsvideor bildsekvenser, utskrifter och videotexter. Name-It upptäcker ansiktssekvenser från bildsekvenser och extraherar namnkandidater från utskrifter. Det är möjligt att få utskrifter från ljudspår genom att använda rätt taligenkänningsteknik med en justering för igenkänningsfel. De flesta nyhetssändningar i USA har dock redan stängt rubrikerna. (I en nära framtid kommer den globala trenden att vara att sändningarna kommer att ha slutna rubriker.) Således använder vi slutna bildtexter som utskrifter för nyhetsvideor. Dessutom använder vi video-caption upptäckt och igenkänning. Vi använde "CNN Headline News" som vår främsta nyhetskälla för våra experiment. Med tanke på bildsekvenser, utskrifter och videotexter som informationskällor, Name-It associerar extraherade ansikten med extraherade namn kandidater med hjälp av korrelationen av deras timing information och ansikte likhet information. Videotexter beaktas också som kompletterande information. För att associera ansikten och namn, Name-It integrerar flera avancerade bildbehandling och naturliga språk bearbetning tekniker-ansikte sekvens extraktion och likhet utvärdering från videor, namn extraktion från utskrifter, och video-caption erkännande. Även om dessa tekniker inte alltid är mycket exakta, integrera dessa resultat kommer att hjälpa systemet att uppnå mer exakt utgång. När det gäller ansiktsnamn association, Piction system 3 fungerar på samma sätt som Name-It. Piction identifierar ansikten inom en given bildtext tidning fotografi genom att extrahera ansikten från fotografiet och analysera bildtexten för att få geometriska begränsningar bland ansikten. Systemet märker sedan varje ansikte med ett namn. En nackdel med Piction är att information om platsen för ansiktet antas beskrivas i bildtexter-till exempel, "översta raden, från vänster, är Michael, Brian...." Å andra sidan, Name-It antar inte en sådan beskrivning. Istället, medan Piction handlar med ett fotografi och bildtext i taget, Name-It behandlar många videor-inklusive många nyheter ämnen-för att samla en bråkdel av en antydan från varje video fragment till infer ansikte namn association. Genom att göra detta, använder Name-It ansikte likhet medan Piction inte. För att förverkliga Name-It, ytterligare analys av video semantiskt innehåll visar sig nödvändigt. Digital videoanalysteknik extraherar automatiskt videostrukturinformation. 4, 5 Vanligtvis, när en video ges som ett mål, är det sönderdelas i segment eller skott. Dessa bilder klassificeras sedan baserat på videons struktur. Denna process använder flera tekniker, såsom skär detektion, färghistogram beräkning och jämförelse, kamera rörelseanalys, rörelse segmentering, och så vidare. Bland dem, skära detektion och färg hans- 1070-986X/99/$10.00
Satoh m.fl. I Ref föreslogs den första metoden för att associera namn med ansikten i nyhetsvideor genom att mäta frekvensen av ansikten och namn som förekommer samtidigt.
Name-It: Naming and Detecting Faces in News Videos
{'venue': 'IEEE Multim.', 'journal': 'IEEE Multim.', 'mag_field_of_study': ['Computer Science']}