Visuella data såsom bilder och videor innehåller en rik källa av strukturerade semantiska etiketter samt ett brett utbud av interagerande komponenter. Visuellt innehåll skulle kunna tilldelas finkorniga etiketter som beskriver viktiga komponenter, grovkorniga etiketter som avbildar höggradiga abstraktioner eller en uppsättning etiketter som avslöjar egenskaper. En sådan kategorisering över olika, interagerande lager av etiketter ger möjlighet till en grafbaserad kodning av etikettinformation. I detta papper utnyttjar vi denna rika struktur för att utföra grafbaserad inferens i etikettutrymme för ett antal uppgifter: flermärkt bild- och videoklassificering och åtgärdsdetektering i otrimmade videor. Vi överväger användningen av det dubbelriktade Inference Neural Network (BINN) och Structural Inference Neural Network (SINN) för att utföra grafbaserad inferens i etikettutrymme och föreslår en lång kortfristig minne (LSTM) baserad förlängning för att utnyttja aktivitetsprogression på otrimmade videor. Metoderna utvärderades på i) Animal with Attribut (AwA), Scene Understanding (SUN) och NUS-WIDE dataset för flermärkt bildklassificering, ii) de första två utgåvorna av YouTube-8M stor skala dataset för flermärkt videoklassificering, och iii) THUMOS'14 och MultiTHUMOS videodataset för åtgärdsdetektering. Våra resultat visar hur effektiva de strukturerade märkesslutsatserna är i dessa utmanande uppgifter, vilket leder till betydande förbättringar jämfört med utgångsvärdena.
Ett anmärkningsvärt undantag är SINN REF, som utför graf-baserad slutledning i en hierarkisk etikett utrymme för handlingsigenkänning, genom att iterativt förfina representationerna av konceptlager med hjälp av graf neurala nätverk.
Structured Label Inference for Visual Understanding
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}