Vi presenterar en co-clustering ram som kan användas för att upptäcka flera semantiska och visuella sinnen av en given Noun Phrase (NP). Till skillnad från traditionella klustermetoder som förutsätter en en-till-en-kartläggning mellan klungorna i det textbaserade funktionsutrymmet och det visuella rummet, antar vi en en-till-en-kartläggning mellan de två utrymmena. Detta beror främst på att varje semantisk känsla (begrepp) kan motsvara olika visuella sinnen på grund av syn- och utseendevariationer. Vår struktur-EM-optimering utvinner inte bara de flera sinnena i både semantiskt och visuellt funktionsutrymme, utan upptäcker också kartläggningen mellan sinnena. Vi introducerar en utmanande dataset (CMU Polysemy-30) för detta problem som består av 30 NPs (-5600 märkta instanser av totalt 22K fall). Vi har också genomfört ett storskaligt experiment som utför sense disambigation för 2000 NPs.
REF undersöker vidare en bild/text co-clustering ram för att deambiguera flera semantiska sinnen av vissa polysemi ord.
Sense discovery via co-clustering on images and text
{'venue': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}