I detta dokument undersöks ett grundläggande problem med scenförståelse: hur man tolkar en scenbild till en strukturerad konfiguration (dvs. en semantisk objekthierarki med relation till objektinteraktion). Vi föreslår en djup arkitektur bestående av två nätverk: i) ett konvolutionellt neuralt nätverk (CNN) extrahera bilden representation för pixel-wise objekt märkning och ii) ett rekursivt neuralt nätverk (RsNN) upptäcka hierarkiska objekt struktur och mellanobjekt förhållanden. I stället för att förlita oss på utvecklande kommentarer (t.ex. manuellt märkta semantiska kartor och relationer), tränar vi vår djupa modell på ett svagt övervakat lärande sätt genom att utnyttja de beskrivande meningarna i utbildningsbilderna. Specifikt delar vi upp varje mening i ett semantiskt träd bestående av substantiv och verbfraser, och tillämpar dessa trädstrukturer för att upptäcka konfigurationerna av utbildningsbilderna. När dessa scenkonfigurationer har fastställts uppdateras parametrarna för både CNN och RsNN i enlighet med detta genom bakutbredning. Hela modellträningen genomförs med hjälp av en förväntnings-Maximeringsmetod. Omfattande experiment visar att vår modell är kapabel att producera meningsfulla scenkonfigurationer och uppnå mer gynnsamma scenmärkningsresultat på två riktmärken (dvs. PASCALVOC 2012 och SYSU-Scanes) jämfört med andra toppmoderna svagt övervakade djupinlärningsmetoder. I synnerhet innehåller SYSU-Scanes mer än 5000 scenbilder med sina semantiska meningsbeskrivningar, som skapas av oss för att främja forskning på scentolkning.
Nyligen REF ) ta itu med bildbeskrivning guidad scen tolkning men undersöka om tolkning av en scen bild i en strukturerad konfiguration.
Hierarchical Scene Parsing by Weakly Supervised Learning with Image Descriptions
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}