Med tanke på en bild (eller videoklipp, eller ljudsång), hur tilldelar vi automatiskt nyckelord till den? Det allmänna problemet är att hitta korrelationer över media i en samling multimediaobjekt som videoklipp, med färger, och / eller rörelse, och / eller ljud, och / eller textskript. Vi föreslår en ny grafbaserad metod, "MMG", för att upptäcka sådana tvärmodala korrelationer. Vår "MMG" metod kräver ingen inställning, ingen klusterbildning, inga användardefinierade konstanter; den kan tillämpas på alla multimediasamlingar, så länge vi har en likhetsfunktion för varje medium; och den skalar linjärt med databasens storlek. Vi rapporterar auto-captioning experiment på "standard" Corel bilddatabas på 680 MB, där det överträffar domänspecifika, finjusterade metoder med upp till 10 procentenheter i bildåtergivning noggrannhet (50% relativ förbättring).
MMG (mixed media graph) REF ] är en grafbaserad metod för att upptäcka tvärmodala korrelationer.
Automatic multimedia cross-modal correlation discovery
{'venue': "KDD '04", 'journal': None, 'mag_field_of_study': ['Computer Science']}