Figur 1: Levenberg-Marquardt/Gauss-Newton optimeringsmetoder används i stor utsträckning för direkta bildanpassningsproblem, där Jacobian-matrisen är avgörande för snabb och robust optimering. Men, när initial justering inte är tillräckligt bra, numerisk Jacobian är oförmögen att ge bra lutning riktningar för optimeringsförfarandet eftersom endast de angränsande pixlar används i beräkningen av partiella derivat. I detta syfte föreslår vi inlärning av Jacobian baserat på funktionen karta över båda bilderna (som utnyttjar ett stort mottagligt fält som visas i grön skugga). Det gemensamma lärandet av funktionsrepresentation och Jacobian matris gör att vi kan ha begränsningar på både funktionen och de partiella derivat i optimeringsprocessen, vilket gör att det konvergerar i färre iterationer och uppnå mer robusta resultat. Direkt bild-till-bild justering som bygger på optimering av fotometriska fel mätvärden lider av begränsat konvergensområde och känslighet för ljusförhållanden. Djupt lärande metoder har tillämpats för att ta itu med detta problem genom att lära sig bättre funktioner representationer med hjälp av konvolutionella neurala nätverk, men ändå kräver en bra initialisering. I detta dokument visar vi att den felaktiga numeriska Jacobian begränsar det konvergensintervall som skulle kunna förbättras avsevärt med hjälp av inlärda metoder. Baserat på denna observation, föreslår vi ett nytt end-to-end nätverk, RegNet, för att lära sig optimering av bild-till-bild pose registrering. Genom att gemensamt lära sig funktionsrepresentation för varje pixel och partiella derivat som ersätter handgjorda (t.ex. numerisk differentiering) i optimeringssteget, underlättar neurala nätverket end-to-end optimering. Energilandskapet begränsas av både funktionen representation och den lärde Jacobian, vilket ger mer flexibilitet för optimeringen som en följd av detta leder till mer robust och snabbare konvergens. I en serie experiment, inklusive en bred ablation studie, visar vi att RegNet kan konvergera för stora baslinje bildpar med färre iterationer.
Ett djupt nätverk har nyligen utformats för att beräkna pose för direkt bild till bildregistrering REF.
RegNet: Learning the Optimization of Direct Image-to-Image Pose Registration
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}