Djupuppskattning och scentolkning är två särskilt viktiga uppgifter i visuell scenförståelse. I detta dokument tar vi itu med problemet med samtidig djupuppskattning och scentolkning i ett gemensamt CNN. Uppgiften kan normalt behandlas som en djup multi-task lärande problem [42]. Detta dokument skiljer sig från tidigare metoder som direkt optimerar flera uppgifter med tanke på input training data, föreslår en ny multi-task guidad förutsägelse-och-destillation nätverk (PAD-Net), som först förutspår en uppsättning mellanliggande extra uppgifter som sträcker sig från låg nivå till hög nivå, och sedan förutsägelserna från dessa mellanliggande extra uppgifter används som multimodal indata via våra föreslagna multimodala destillationsmoduler för de slutliga uppgifterna. Under det gemensamma lärandet fungerar de mellanliggande uppgifterna inte bara som en handledning för att lära sig mer robusta djuprepresentationer utan ger också rik multimodal information för att förbättra de slutliga uppgifterna. Omfattande experiment utförs på två utmanande dataset (dvs. NYUD-v2 och Cityscapes) för både djupuppskattning och scentolkning, vilket visar hur effektivt det föreslagna tillvägagångssättet är.
Xu och al. REF utvecklade ett nätverk för prognostisering och destillation som använder flera mellanliggande representationer såsom konturer och ytnormaler för att uppnå den slutliga uppgiften med djupuppskattning och scentolkning.
PAD-Net: Multi-tasks Guided Prediction-and-Distillation Network for Simultaneous Depth Estimation and Scene Parsing
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}