I detta dokument föreslår vi en ny metod för att stegvis extrahera en yta från ett på varandra följande växande Structure-from-Motion (SfM) punktmoln i realtid. Vår metod är baserad på en Delaunay triangulation (DT) på 3D-punkter. Kärnan idé är att kraftfullt märka alla tetrahedra i fri och ockuperat utrymme med hjälp av en slumpmässig fältformulering och att extrahera ytan som gränssnittet mellan olika märkta tetrahedra. Därför föreslår vi en ny energifunktion som uppnår samma noggrannhet som de senaste metoderna men som avsevärt minskar beräkningsarbetet. Dessutom gör vår nya formulering att vi kan extrahera ytan på ett stegvist sätt, dvs. när punktmolnet uppdateras anpassar vi vår energifunktion. Istället för att minimera den uppdaterade energin med en standard graf skär, använder vi den dynamiska grafen skär av Kohli et al. [1] som möjliggör effektiv minimering av en serie liknande slumpmässiga fält genom att återanvända den tidigare lösningen. På ett sådant sätt kan vi utvinna ytan från ett alltmer växande punktmoln nästan oberoende av den totala scenstorleken. Energifunktion för ytextraktion Vår metod formulerar ytextraktion som ett binärt märkningsproblem, med målet att tilldela varje tetrahedron antingen en fri eller upptagen etikett. Av denna anledning, vi modellerar sannolikheterna att en tetrahedron är fri-eller ockuperat utrymme analysera uppsättningen av strålar som ansluter alla 3D-punkter till bildfunktioner. Efter idén om den trunkerade signerade distansfunktionen (TSDF), som är känd från voxel-baserade ytrekonstruktioner, har en tetrahedron framför en 3D-punkt X en hög sannolikhet att vara fritt utrymme, medan en tetrahedron bakom X förmodligen är upptagen utrymme. Vi antar vidare att det är mycket osannolikt att angränsande tetrahedra får olika etiketter, förutom par av tetrahedra som har en stråle genom ansiktet som förbinder båda. En sådan märkningsproblem kan elegant formuleras som ett parvis slumpmässigt fält och eftersom våra tidigare är submodulära, kan vi effektivt hitta en global optimal märkning lösning t.ex. genom att använda graf skär. I motsats till befintliga metoder som [2], beror vår energi endast på den synlighetsinformation som är direkt kopplad till de fyra 3D-punkter som spänner över tetrahedra V i. Därför har en modifiering av tetrahedralstrukturen genom att infoga nya punkter endast begränsad effekt på energifunktionen. Denna egenskap gör det möjligt för oss att enkelt anta energifunktionen till en modifierad tetrahedral struktur. Inkrementell ytextraktion För att möjliggöra effektiv inkrementell ytrekonstruktion måste vår metod i följd integrera ny sceninformation (3D-punkter samt siktinformation) i energifunktionen och minimera den modifierade energin effektivt. Att integrera ny synlighetsinformation, dvs. att lägga till strålar för nya 3D-punkter, påverkar endast de termer i energifunktionen som hänför sig till 3D-punkten, som vanligtvis bara är några få. Att integrera ytterligare 3D-poäng är mer komplicerat, eftersom det påverkar Delaunay triangulation, dvs nya tetrahedra skapas och andra tas bort. För uppdateringen av energin innebär detta att vissa termer raderas och nya termer läggs till. Eftersom vår energi endast är beroende av strålar som är direkt kopplade till en viss tetrahedron, kan de nya kostnaderna beräknas effektivt. Den successiva integrationen av ytterligare information leder till en rad energier som vanligtvis bara skiljer sig åt med några få termer. Istället för att lösa märkningen varje gång från början med hjälp av en standard graf klippning, använder vi den dynamiska grafen klippa föreslås av Kohli et al. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. I våra experiment visar vi att komplexiteten i minimeringen inte beror på det totala antalet termer utan på antalet termer som skiljer sig mellan två efterföljande energier. Därför är vår ytextraheringsalgoritm nästan oberoende av den totala scenstorleken. Figur 1: Körtidsanalys för integrering av 1000 nya 3D-punkter per steg. Även om maskan blir större, är beräkningstiden fortfarande oberoende av den totala scenstorleken. Experiment I den experimentella utvärderingen jämför vi först vår strategi med den senaste tekniken i statisk ytutvinning från glesa punktmoln och demonstrerar konkurrenskraftiga prestanda samtidigt som vi minskar beräkningsansträngningen med mer än 50 %. Vi visar dessutom att vår metod kan gradvis extrahera ytan från ett växande glest punktmoln robust i realtid samtidigt som den är nästan oberoende av den totala scenstorleken (Figur 1 ). Vårt tillvägagångssätt som används stegvis kräver i genomsnitt 440 ms för att integrera 1000 nya 3D-punkter i den befintliga ytan som är upp till 20 gånger snabbare än den senaste tekniken. Figur 2 och 3 illustrerar hur maskan utvecklas med tiden för två olika punktmoln. Vårt löfte bevisar tillämpligheten av vår metod för att effektivt erhålla ytmaskor från på varandra följande glesa punktmoln, som t. ex. kan tillhandahållas med en nyckelframe-baserad SLAM-metod. Figur 2: Ytutveckling över tiden. Den grå delen av maskan har extraherats från 40 000 3D-punkter. De röda trianglarna skapas genom att ytterligare 20 000 punkter integreras.
I ett senare verk, Hoppe et al. REF har kunnat extrahera maskan stegvis med en graf klippa algoritm, få jämnare resultat men utan att nå realtidsprestanda.