Eftersom den mellannivå uppgift som förbinder bildtext och objektdetektering, visuell relation upptäckt började fånga forskarnas uppmärksamhet på grund av dess beskrivande kraft och tydlig struktur. Den upptäcker föremålen och fångar deras parvisa interaktioner med en subjektpredikat-objekttriol, t.ex. Person-kör-häst. I detta dokument betraktas varje visuell relation som en fras med tre komponenter. Vi formulerar det visuella förhållandet detektion som tre sammankopplade igenkänningsproblem och föreslår en Visual Phrase guidad Convolutional Neural Network (ViP-CNN) att ta itu med dem samtidigt. I ViP-CNN presenterar vi en Phrase-guided Message Passing Structure (PMPS) för att etablera kopplingen mellan relationskomponenter och hjälpa modellen att gemensamt överväga de tre problemen. Motsvarande icke-maximal dämpningsmetod och modellutbildningsstrategi föreslås också. Experimentella resultat visar att vår ViP-CNN överträffar den senaste metoden både i hastighet och noggrannhet. Vi ytterligare pretrainera ViP-CNN på vår rengjorda Visual Genome Relationship dataset, som har visat sig prestera bättre än förutbildningen på ImageNet för denna uppgift.
För att ytterligare etablera kopplingen mellan relationskomponenter, nyligen, Li et.al REF föreslog en visuell fras guidad konvolutionella neurala nätverk.
ViP-CNN: Visual Phrase Guided Convolutional Neural Network
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}