I idealfallet 360 • bilder kan ärva de djupa konvolutionella neurala nätverk (CNN) redan tränas med stor framgång på perspektiv projektion bilder. Befintliga metoder för överföring av CNN från perspektiv till sfäriska bilder medför dock betydande beräkningskostnader och/eller försämringar av noggrannheten. Vi presenterar Kernel Transformer Network (KTN) för att effektivt överföra konvolutionskärnor från perspektivbilder till den liksidiga projektionen av 360 • bilder. Med tanke på en källa CNN för perspektivbilder som indata producerar KTN en funktion parameteriserad av en polarvinkel och kärna som utgång. Med tanke på en ny 360 • bild, kan denna funktion i sin tur beräkna convolutioner för godtyckliga lager och kärnor som källan CNN på motsvarande tangentplan projektioner. Särskiljande från alla befintliga metoder möjliggör KTN-modeller överföring: samma modell kan tillämpas på olika CNN-källor med samma basarkitektur. Detta gör det möjligt att tillämpa flera igenkänningsuppgifter utan omskolning av KTN. Validera vår strategi med flera källor CNNs och dataset, visar vi att KTNs förbättra den senaste tekniken för sfärisk konvolution. KTNs framgångsrikt bevara källan CNN: s noggrannhet, samtidigt som erbjuda överförbarhet, skalbarhet till typiska bildupplösningar, och i många fall en betydligt lägre minnesavtryck 1. els, detta tillvägagångssätt försämrar noggrannhet-särskilt för djupare nätverk-på grund av en implicit interpolation antagande, som vi kommer att förklara nedan. Den tredje metoden definierar konvolution i spektraldomänen [11, 15], som har betydande minne overhead och hittills begränsad tillämplighet på realworld data. Allt detta kräver omskolning för att hantera en ny igenkänningsuppgift. Mot bakgrund av dessa brister föreslår vi Kernel Transformer Network (KTN). KTN anpassar källan CNNs tränade på perspektivbilder till 360 • bilder. Istället för att lära sig en ny CNN på 360 • bilder för en specifik uppgift, KTN lär sig en funktion som tar en kärna i källan CNN som ingång och omvandlar den till en 360 • bild i dess liksidiga projektion. Se bild. 1 (C)........................................................................................................... Funktionen står för förvrängningen i 360 • bilder, returnerar olika omvandlingar beroende på både polarvinkeln och källkärnan. Modellen tränas för att återge utgångarna från källan CNN på perspektivprojiceringen för varje tangentplan på en godtycklig 360 • bild. Därför lär sig KTN att bete sig på samma sätt som källan CNN samtidigt som man undviker upprepade projektioner av bilden. Viktiga höjdpunkter i den föreslagna KTN är dess överförbarhet och kompaktitet, som båda beror på vår funktionsbaserade design. En gång tränad för en basarkitektur kan samma KTN överföra flera CNN-källor till 360 • bilder. Till exempel, efter att ha tränat en KTN för VGG [35] på Ima-geNet klassificering, kan vi överföra samma KTN för att köra en VGG-baserad Pascal objektdetektor på 360 • panoraman. Detta är möjligt eftersom KTN tar källan CNN som indata istället för att inbädda CNN-kärnorna i sina egna parametrar (till skillnad från [11, 12, 15, 36, 45]). Dessutom, eftersom KTN faktoriserar källkodskärnor från transformationer, är det möjligt att implementera med ett lätt nätverk (t.ex., öka fotavtrycket av ett VGG-nätverk med endast 25%). Resultat visar att KTN modeller är storleksordningar mindre än den mest korrekta konkurrenten, SphConv [36]. Jämfört med Spherical U-Net [45] och SphereNet [12], KTN är mycket mer data effektiv eftersom det inte kräver några kommenterade 360 • bilder för utbildning, och det är mer exakt eftersom det undviker deras funktion interpolation antagande.
För att minska den beräknade kostnaden och nedbrytningen i noggrannhet, en Kernel Transformer Network REF tillämpas för att överföra konvolutionskärnor från perspektiv bilder till liksidiga indata.
Kernel Transformer Networks for Compact Spherical Convolution
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}