Abstract-Semantic segmentering uppgifter kan väl modelleras av Markov Random Field (MRF). Detta dokument behandlar semantisk segmentering genom att införliva högorderrelationer och blandning av etikettkontexter i MRF. Till skillnad från tidigare arbeten som optimerade MRFs med iterativ algoritm, löser vi MRF genom att föreslå en Convolutional Neural Network (CNN), nämligen Deep Parsing Network (DPN), som möjliggör deterministiska end-to-end beräkning i ett enda framåt pass. Specifikt, DPN utökar en modern CNN till modell unary termer och ytterligare lager utformas för att approximera medelfältet (MF) algoritm för pairwise termer. Den har flera tilltalande egenskaper. För det första skiljer sig från de senaste arbeten som krävde många iterationer av MF under back-förökning, DPN kan uppnå hög prestanda genom att approximera en iteration av MF. För det andra representerar DPN olika typer av parvisa termer, vilket gör många befintliga modeller som sina specialfall. Dessutom ger parvisa termer i DPN en enhetlig ram för att koda rik kontextuell information i högdimensionella data, såsom bilder och videor. För det tredje gör DPN MF lättare att parallelliseras och påskyndas, vilket möjliggör en effektiv slutsats. DPN utvärderas noggrant på standard-semantiska bild-/videosegmenteringsriktmärken, där en enda DPN-modell ger toppmoderna segmenteringsnoggrannheter på PASCAL VOC 2012, Cityscapes dataset och CamVid-dataset. Index Terms-Semantic image/video segmentation, Markov random fält, convolutional neural network Eftersom pixlar i naturliga bilder eller videor i allmänhet uppvisar stark korrelation, gemensamt modellera etikettfördelning på alla platser är önskvärt. För att fånga dessa kontextuella uppgifter används Markovs slumpmässiga fält (MRF) och villkorade slumpmässiga fält (CRF) [17] vanligen som klassiska ramar för semantisk segmentering. De modellerar den gemensamma distributionen av etiketter genom att definiera både unary term och pairwise termer. Unary term återspeglar det förtroende per pixel att tilldela etiketter medan pairwise termer fånga interpixel begränsningar. De flesta tidigare studier fokuserar på att utforma parvisa termer som har stark uttryckskraft. Till exempel, Kr € ahenb € uhl et al. [18] Uppnådd exakt segmenteringsgräns genom att sluta sig till en fullt ansluten graf. Vineet m.fl. [19] förlängd [18] genom att definiera både höga och långa termer mellan pixlar. Globala eller lokala semantiska sammanhang mellan etiketter undersöktes också av [20]. Deras prestanda begränsas dock av de relativt grunda modeller (t.ex. SVM eller Adaboost) som används som en unik term. Eftersom djupt lärande gradvis tar över inom många bildigenkänningsområden [21] har forskare också utforskat möjligheten att utforma effektiv djuparkitektur för semantisk segmentering. Till exempel Long et al. [6] omvandlas fullt anslutna skikt av CNN till konvolutionella skikt, vilket gör exakt perpixel klassificering möjligt med hjälp av samtida CNN-arkitekturer som var förtränade på ImageNet [22]. Chen och Al. [23] förbättrades [6] genom att CNN matas in i en MRF med enkel parvis potential, men den behandlade CNN och MRF som separata komponenter. Ett nyligen gjort framsteg i gemensam utbildning CNN och MRF genom att passera felet av MRF inference bakåt i CNN [24]. Icke desto mindre krävs en iterativ slutsats av MRF såsom den genomsnittliga fältalgoritmen (MF) [25] för varje träningsbild under back-propagationen (BP). Zheng m.fl. [26] visade vidare att förfarandet för MF-slutsats kan representeras som ett Recurrent Neural Network (RNN), men deras beräkningskostnader liknar dem för [24]. Vi konstaterade att en direkt kombination av CNN och MRF som ovan är ineffektiv, vilket innebär utmaningar för både optimeringssvårigheter och inferenshastighet. Eftersom CNN vanligtvis har miljontals parametrar och MRF vanligtvis har tusentals latenta variabler, är de besvärliga att gemensamt optimera och dra slutsatser. Ännu värre, införliva komplexa parvisa termer i en MRF blir opraktisk, begränsar prestanda för hela systemet. I denna studie föreslår vi en ny Deep Parsing Network (DPN), som är ett heltäckande system som möjliggör gemensam utbildning av CNN och komplexa parvisa termer. DPN har flera tilltalande egenskaper: Författarna är med
Deep Parsing Network (DPN) Ref, som tar ett steg längre, är utformad för att ungefärlig uppskattning av medelfältsslutsatsen för MRF i ett enda pass.
Deep Learning Markov Random Field for Semantic Segmentation
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}