Abstrakt. Detta papper presenterar StereoNet, den första end-to-end djupa arkitekturen för realtidsstereo matchning som körs på 60fps på en NVidia Titan X, producerar högkvalitativa, kantbevarande, kvantiseringsfria differentialkartor. En viktig insikt i detta papper är att nätverket uppnår en sub-pixel matchning precision än är en magnitud högre än de traditionella stereo matchning metoder. Detta gör att vi kan uppnå realtidsprestanda genom att använda en mycket låg upplösning kostnadsvolym som kodar all information som behövs för att uppnå hög skillnad precision. Spatial precision uppnås genom att använda en inlärd edge-aware uppsampling funktion. Vår modell använder ett Siamese-nätverk för att extrahera funktioner från vänster och höger bild. En första uppskattning av skillnaden beräknas i en mycket låg upplösning kostnadsvolym, sedan hierarkiskt återger modellen högfrekvensdetaljer genom en inlärd upsampling funktion som använder kompakt pixel-till-pixel förfining nätverk. Genomsnittlig färgingång som en guide, denna funktion är kapabel att producera högkvalitativ kantaware utgång. Vi uppnår övertygande resultat på flera riktmärken, som visar hur den föreslagna metoden erbjuder extrem flexibilitet i en acceptabel beräkningsbudget.
Khamis m.fl. REF utvidgade detta koncept genom att använda ett inlärt förfiningssteg som det sista steget i modellen för att minska beräkningskostnaderna.
StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}