Abstrakt. Detta dokument presenterar en ny metod för att involvera både rumsliga och temporala funktioner för semantisk segmentering av gatuscener. Nuvarande arbete på konvolutionella neurala nätverk (CNN) har visat att CNNs ger avancerade rumsliga funktioner som stöder en mycket bra prestanda av lösningar för semantiska segmentering uppgift. Vi undersöker hur involvering av temporalfunktioner också har en god effekt på segmentering av videodata. Vi föreslår en modul baserad på en lång korttidsminnesarkitektur (LSTM) av ett återkommande neuralt nätverk för att tolka de tidsmässiga egenskaperna hos videoramar över tid. Vårt system tar som inmatningsramar i en video och producerar en motsvarande storleksutgång; för segmentering av videon vår metod kombinerar användningen av tre komponenter: För det första, regionala rumsliga funktioner i ramar extraheras med hjälp av en CNN; sedan, med LSTM temporal funktioner läggs till; slutligen, genom att dekonvergera spatio-temporala funktioner producerar vi pixel-wise förutsägelser. Vår nyckelinsikt är att bygga spatio-temporala konvolutionella nätverk (spatio-temporala CNNs) som har en end-to-end arkitektur för semantisk videosegmentering. Vi anpassade helt några kända convolutional nätverk arkitekturer (såsom FCN-AlexNet och FCN-VGG16), och dilaterade convolution i våra spatio-temporala CNNs. Våra spatio-temporala CNN:er uppnår toppmodern semantisk segmentering, vilket visades för datauppsättningarna Camvid och NYUDv2.
I REF introduceras det spatiotemporala FCN, som använder ett rutnät av modeller för långtidsminne (LSTM) mellan FCN-kodaren och FCN-dekodern.
STFCN: Spatio-Temporal FCN for Semantic Video Segmentation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}