Vi studerar problemet med att återställa en underliggande 3D-form från en uppsättning bilder. Befintliga inlärningsbaserade metoder brukar tillgripa återkommande neurala nät, t.ex. GRU, eller intuitiva pooling operationer, t.ex. max / medel pooling, för att sammansmälta flera djupa funktioner kodade från indata bilder. GRU-baserade metoder kan dock inte konsekvent uppskatta 3D-former med olika permutationer av samma uppsättning indatabilder som den återkommande enheten är permutationsvariant. Det är också osannolikt att den 3D-form som ges fler bilder på grund av den långsiktiga minnesförlusten av GRU. Vanligen används pooling metoder är begränsade till att fånga partiell information, t.ex. max / medelvärden, ignorera andra värdefulla funktioner. I denna uppsats presenterar vi en ny feed-forward neural modul, som heter AttSets, tillsammans med en dedikerad träningsalgoritm, som heter FASet, att uppmärksamt aggregera en godtyckligt storlek djup funktion som för multi-view 3D rekonstruktion. AttSets-modulen är permutationsinvariant, beräkningseffektiv och flexibel att implementera, medan FASet-algoritmen gör det möjligt för AttSets-baserade nätverk att vara anmärkningsvärt robust och generalisera till ett godtyckligt antal indatabilder. Vi utvärderar noggrant FASet och egenskaperna hos AttSets på flera stora offentliga dataset. Omfattande experiment visar att AttSets tillsammans med FASet algoritm avsevärt överträffar befintliga aggregeringsmetoder.
I REF föreslås AttSets för multi-view 3D rekonstruktion, där uppmärksamhet ägnas åt de kodade funktionerna hos element i uppsättningar innan poolning.
Robust Attentional Aggregation of Deep Feature Sets for Multi-view 3D Reconstruction
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}