FlowNet2 [14], den state-of-the-art convolutional neural network (CNN) för optisk flödesuppskattning, kräver över 160M parametrar för att uppnå exakt flödesuppskattning. I detta dokument presenterar vi ett alternativt nätverk som uppnår prestanda i nivå med FlowNet2 på det utmanande Sintel-slutpasset och KITI-riktmärken, samtidigt som det är 30 gånger mindre i modellstorleken och 1,36 gånger snabbare i körhastigheten. Detta möjliggörs genom att borra ner till arkitektoniska detaljer som kan ha missats i de nuvarande ramarna: (1) Vi presenterar en mer effektiv flödesinferens strategi på varje pyramidnivå genom ett lätt kaskadnät. Det förbättrar inte bara flödesuppskattningsnoggrannheten genom tidig korrigering, utan tillåter även sömlös integrering av deskriptormatchning i vårt nätverk. (2) Vi presenterar ett nytt flödesregleringslager för att förbättra frågan om avvikelser och vaga flödesgränser genom att använda en funktionsdriven lokal konvolution. (3) Vårt nätverk äger en effektiv struktur för pyramidal funktion extraktion och omfamnar funktionen warping snarare än bild warping som praktiseras i FlowNet2. Våra kod och utbildade modeller finns tillgängliga på github.com/twhui/liteFlowNet. Det finns två allmänna principer för att förbättra utformningen av FlowNet2 och SPyNet. Den första principen är pyramidal dragextraktion. Det föreslagna nätverket, kallat Lite-FlowNet, består av en kodare och en dekoder. Encodern kartlägger det givna bildparet, respektive, i två pyramider av flerskaliga högdimensionella funktioner. Avkodaren då
LiteFlowNet REF innebär kaskadflöde inferens för flödesförvrängning och funktionsmatchning, och funktionsdriven lokal konvolution (flconv) för flödesreglering.
LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}