Vi presenterar OctNet, en representation för djupinlärning med sparsam 3D-data. I motsats till befintliga modeller möjliggör vår representation 3D-konvolutionella nätverk som är både djupa och högupplösta. Mot detta mål utnyttjar vi glesheten i inmatningsdatan för att hierarkiskt dela upp utrymmet med hjälp av en uppsättning obalanserade bläckfiskar där varje bladknuta lagrar en poolad funktionsrepresentation. Detta gör det möjligt att fokusera minnesallokering och beräkning till relevanta täta regioner och möjliggör djupare nätverk utan att kompromissa med upplösningen. Vi demonstrerar nyttan av vår OctNet representation genom att analysera effekterna av upplösning på flera 3D uppgifter inklusive 3D objektklassificering, orienteringsuppskattning och punktmoln märkning. 6620 naivt. Vi illustrerar detta på bild. 1 för ett 3D-klassificeringsexempel. Med tanke på 3D-maskorna på [47] voxeliserar vi inmatningen med en upplösning på 64 3 och utbildar ett enkelt 3D-konvolutionsnätverk för att minimera en klassificeringsförlust. Vi skildrar maximum av svaren över alla funktionskartor på olika lager av nätverket. Det är lätt att observera att höga aktiveringar endast sker nära objektets gränser. Motiverade av denna iakttagelse, föreslår vi OctNet, ett 3D-konvolutionsnätverk som utnyttjar denna gleshet egendom. Vårt OctNet delar hierarkiskt upp 3D-utrymmet i en uppsättning obalanserade bläckfiskar [31]. Varje bläckfisk delar 3D-utrymmet i enlighet med datatätheten. Mer specifikt, vi rekursivt split oktree noder som innehåller en datapunkt i sin domän, dvs 3D-punkter, eller mesh trianglar, stannar vid den finaste upplösningen av trädet. Därför varierar bladknutor i storlek, t.ex. kan en tom bladknuta bestå av upp till 8 3 = 512 voxlar för ett träd på djup 3 och varje bladknuta i bläckfisken lagrar en poolad sammanfattning av alla funktionsaktiveringar av den voxel den består av. Konvolutionsnätets verksamhet definieras direkt på dessa träds struktur. Därför fokuserar vårt nätverk dynamiskt på beräknings- och minnesresurser, beroende på indatans 3D-struktur. Detta leder till en betydande minskning av kraven på beräkning och minne vilket möjliggör djupt lärande vid höga upplösningar. Viktigt är att vi också visar hur viktiga nätverksoperationer (convolution, pooling eller unpooling) effektivt kan implementeras på denna nya datastruktur. Vi visar nyttan av den föreslagna OctNet på tre olika problem med tredimensionella data: 3D-klassificering, 3D-orientering uppskattning av okända objekt instanser och semantisk segmentering av 3D-punktmoln. I synnerhet visar vi att den föreslagna OctNet möjliggör betydande högre ingångsupplösningar jämfört med täta ingångar på grund av dess lägre minnesförbrukning, samtidigt som samma prestanda uppnås jämfört med motsvarande täta nätverk vid lägre upplösning. Samtidigt får vi betydande uppfarter vid resolutioner på 128 3 och över. Med hjälp av vårt OctNet, undersöker vi effekterna av hög upplösning ingångar wrt. noggrannhet i de tre uppgifterna och visa att högre upplösning är särskilt fördelaktigt för orienteringsuppskattning och semantisk punktmoln märkning. Vår kod finns tillgänglig från projektets hemsida 2.
Den 3D ingångsutrymme är hierarkiskt uppdelad i obalanserade bläckfiskar i REF.
OctNet: Learning Deep 3D Representations at High Resolutions
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}