De senaste åren har det gjorts anmärkningsvärda framsteg när det gäller semantisk segmentering. Ändå är det fortfarande en utmanande uppgift att tillämpa segmenteringsteknik på videobaserade tillämpningar. Specifikt, den höga genomströmningen av videoströmmar, den rena kostnaden för att köra fullt konvolutionella nätverk, tillsammans med de låga latenta krav i många verkliga applikationer, t.ex. autonom körning, utgör en betydande utmaning för utformningen av videosegmenteringsramverket. För att ta itu med denna kombinerade utmaning utvecklar vi ett ramverk för videosemantisk segmentering, som innehåller två nya komponenter: 1) en funktionsförökningsmodul som adaptivt smälter samman med tiden via rumslig variantkonvolution, vilket minskar kostnaden för per-frame beräkning; och 2) en adaptiv schemaläggare som dynamiskt fördelar beräkning baserat på noggrannhetsprognoser. Båda komponenterna arbetar tillsammans för att säkerställa låg latens samtidigt som hög segmenteringskvalitet upprätthålls. På både Cityscapes och CamVid fick det föreslagna ramverket konkurrenskraftiga resultat jämfört med den senaste tekniken, samtidigt som latensen minskade avsevärt, från 360 ms till 119 ms.
I REF föreslogs ett nätverk som använder rumslig variantskonvolution för att sprida funktioner adaptivt och en adaptiv schemaläggare för att säkerställa låg latens.
Low-Latency Video Semantic Segmentation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}