Åtgärdsklassificering i stillbilder är en viktig uppgift i datorseendet. Det är utmanande eftersom åtgärdernas utseende kan variera beroende på deras sammanhang (t.ex. tillhörande objekt). Manuell märkning av kontextinformation skulle vara tidskrävande och svår att skala upp. För att ta itu med denna utmaning föreslår vi en metod för att automatiskt upptäcka och samla ihop handlingskoncept, och lära sig deras klassificeringar från svagt övervakad bild-sentence corpora. Den föreslagna metoden får kandidat åtgärdsbegrepp genom att extrahera verb-objekt par från meningar och verifiera deras visuellhet med tillhörande bilder via tvåfaldig korsvalidering. Koncept för kandidatåtgärder samlas sedan genom att använda en multimodal representation med bildinbäddningar från djupa konvolutionsnätverk och textinbäddningar från ord 2vec. Mer än hundra mänskliga aktionskoncept klassificerar sig från Flickr 30k dataset utan ytterligare mänsklig ansträngning och dessa handlingskoncept är grupperade i 81 aktionskluster. Vi utbildar en SVM-klassare för var och en av dem och vi visar lovande klassificeringsresultat på Flickr30k. Vi tillämpar vidare AdaBoost-algoritmen för att automatiskt välja och kombinera relevanta handlingskoncept med en åtgärdsfråga. Lovande resultat har visats för åtgärdsriktmärket PASCAL VOC 2012 som har noll överlappning med Flickr30k.
Gao m.fl. REF föreslog att man skulle lära sig verb-objekt par som handlingskoncept från bild-sentence par.
ACD: Action Concept Discovery from Image-Sentence Corpora
{'venue': "ICMR '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}