Abstrakt. Att uppskatta grundläggande matriser är ett klassiskt problem i datorseendet. Traditionella metoder är starkt beroende av riktigheten av uppskattade nyckelpunktkorrespondenser, som kan vara bullriga och opålitliga. Som ett resultat av detta är det svårt för dessa metoder att hantera bildpar med stor ocklusion eller betydligt olika kameraposer. I detta dokument föreslår vi nya neurala nätverk arkitekturer för att uppskatta grundläggande matriser på ett end-to-end sätt utan att förlita sig på punktkorrespondenser. Nya moduler och skikt introduceras för att bevara den grundläggande matrisens matematiska egenskaper som en homogen rank-2-matris med sju frihetsgrader. Vi analyserar prestandan hos de föreslagna modellerna med hjälp av olika mått på KITTI-datasetet, och visar att de uppnår konkurrenskraftiga prestanda med traditionella metoder utan behov av att extrahera korrespondenser. Nyckelord: Grundläggande Matrix · Epipolär geometri · Djupinlärning · Stereo. Grundmatrisen (F-matris) innehåller mycket information om två stereobilder. Förmågan att uppskatta grundläggande matriser är avgörande för många datorseende applikationer såsom kamerakalibrering och lokalisering, bildkorrigering, djupuppskattning och 3D-rekonstruktion. Den nuvarande inställningen till detta problem bygger på att upptäcka och matcha lokala funktionspunkter, och med hjälp av de erhållna korrespondenser för att beräkna den grundläggande matrisen genom att lösa ett optimeringsproblem om epipolära begränsningar [27, 16]. Resultaten av sådana metoder är i hög grad beroende av noggrannheten hos de lokala funktionsmatcherna, som är baserade på algoritmer som SIFT [28]. Men dessa metoder är inte alltid tillförlitliga, särskilt när det finns ocklusion, stor översättning eller rotation mellan bilder av scenen. I detta dokument föreslår vi end-to-end trainingable convolutional neural networks för F-matrisuppskattning som inte är beroende av nyckelpunktkorrespondenser. Den största utmaningen med att direkt regressera F-matrisens ingångar är att bevara dess matematiska egenskaper som en homogen rank-2-matris med sju frihetsgrader. Vi föreslår en rekonstruktionsmodul och ett normaliseringslager (Sec. 2.2) att ta itu med denna utmaning. Vi visar att genom att använda dessa lager, kan vi exakt uppskatta den grundläggande matrisen, medan en enkel regressionsstrategi inte ger goda resultat. Vår detaljerade * Anger lika bidrag
Ett annat arbete, också fokuserat på att uppskatta den grundläggande matrisen, introducerar en CNN-modell som uttryckligen tar hänsyn till de matematiska egenskaperna hos den grundläggande matrisen som en homogen rank-2 matris med sju grader av frihet REF.
Deep Fundamental Matrix Estimation without Correspondences
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}