Vi undersöker uppgiften att lära modeller för visuell objektigenkänning enbart från naturliga språkbeskrivningar. Metoden bidrar till erkännandet av finkorniga objektkategorier, såsom djur- och växtarter, där det kan vara svårt att samla många bilder för utbildning, men där textbeskrivningar av visuella attribut är lätt tillgängliga. Som exempel tar vi itu med igenkännandet av fjärilsarter och lär oss modeller från beskrivningar i en naturguide online. Vi föreslår naturliga språkbearbetningsmetoder för att extrahera framträdande visuella attribut från dessa beskrivningar för att använda som "mallar" för objektkategorierna, och tillämpa synmetoder för att extrahera motsvarande attribut från testbilder. En generativ modell används för att koppla samman texttermer i de inlärda mallarna med visuella attribut. Vi rapporterar experiment som jämför människors prestanda och den föreslagna metoden på en datauppsättning av tio fjärilskategorier.
Wang m.fl. REF lär sig visuella modeller av fjärilsarter från beskrivningar i ett uppslagsverk på nätet.
Learning Models for Object Recognition From Natural Language Descriptions
{'venue': 'BMVC', 'journal': None, 'mag_field_of_study': ['Computer Science']}