Att koppla samman bildregioner med textfrågor har nyligen utforskats som ett nytt sätt att överbrygga visuella och språkliga representationer. Några banbrytande metoder har föreslagits baserat på återkommande neurala språk modeller tränas generativt (t.ex., generera bildtexter), men uppnå något begränsad lokalisering noggrannhet. För att bättre ta itu med naturligt språk-baserad visuell enhet lokalisering, föreslår vi en diskriminerande strategi. Vi formulerar en discriminativ bimodal neurala nätverk (DBNet), som kan tränas av en klassificerare med omfattande användning av negativa prover. Vårt utbildningsmål uppmuntrar bättre lokalisering på enstaka bilder, införlivar textfraser i ett brett spektrum, och rätt par bildregioner med textfraser i positiva och negativa exempel. Experiment på Visual Genome dataset visar den föreslagna DBNet betydligt överträffar tidigare state-of-the-art metoder både för lokalisering på enstaka bilder och för detektion på flera bilder. Vi upprättar också ett utvärderingsprotokoll för visuell upptäckt av naturligt språk. Koden finns på http://ytzhang.net/projects/dbnet.
På samma sätt använde REF bilder och textbeskrivningar för bättre naturligt språkbaserad visuell enhet lokalisering.
Discriminative Bimodal Networks for Visual Localization and Detection with Natural Language Queries
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}