Finkornig bildklassificering är en utmanande uppgift på grund av den stora intra-klass variansen och små inter-klass variansen, som syftar till att känna igen hundratals underkategorier som tillhör samma grundnivå kategori. De flesta befintliga finkorniga bildklassificeringsmetoder lär sig i allmänhet deldetekteringsmodeller för att erhålla semantiska delar för bättre klassificeringsnoggrannhet. Trots lovande resultat har dessa metoder huvudsakligen två begränsningar: 1) inte alla delar som erhålls genom deldetekteringsmodellerna är fördelaktiga och oumbärliga för klassificering, och 2) finkornig bildklassificering kräver mer detaljerade visuella beskrivningar som inte kunde tillhandahållas av delarnas placeringar eller attributanteckningar. För att ta itu med ovanstående två begränsningar föreslås i detta dokument den två-strömsmodell som kombinerar vision och språk (CVL) för att lära sig latenta semantiska representationer. Synströmmen lär sig djupa representationer från den ursprungliga visuella informationen via djupa konvolutionella neurala nätverk. Språkströmmen använder de naturliga språkbeskrivningar som kan peka ut de diskriminerande delarna eller egenskaperna för varje bild, och ger ett flexibelt och kompakt sätt att koda de framträdande visuella aspekterna för att särskilja underkategorier. Eftersom de två strömmarna kompletterar varandra, kan en kombination av de två strömmarna ytterligare uppnå bättre klassificeringsnoggrannhet. Jämfört med 12 state-of-art metoder på den allmänt använda CUB-200-2011 datauppsättning för finkornig bildklassificering, de experimentella resultaten visar vår CVL-strategi uppnår bästa prestanda.
Han och Peng REF försökte utnyttja korrelationen mellan bild och text för att förbättra finkornig bildklassificeringsnoggrannhet genom att bygga ett konvolutionellt neuralt nätverk med två ingångsström.
Fine-graind Image Classification via Combining Vision and Language
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}