Flerspektrala bilder av färg-termal par har visat effektivare än en enda färg kanal för fotgängardetektering, särskilt under utmanande belysningsförhållanden. Det saknas dock fortfarande studier om hur de två metoderna kan förenas på ett effektivt sätt. I detta dokument jämför vi djupt sex olika fusionsarkitekturer för konvolutionsnätverk och analyserar deras anpassningar, vilket gör det möjligt för en vaniljarkitektur att uppnå detektionsprestanda som är jämförbara med de senaste resultaten. Vidare upptäcker vi att fotgängardetektionskonfidenser från färg eller termiska bilder korreleras med belysningsförhållanden. Med detta i åtanke föreslår vi en Illumination-aware Faster R-CNN (IAF R-CNN). Specifikt, ett Illumination-aware Network introduceras för att ge ett belysningsmått på ingångsbilden. Sedan går vi adaptivt samman färg- och termiska undernätverk via en grindfunktion som definieras över belysningsvärdet. De experimentella resultaten av KAIST Multispektral Fotgängarbenchmark bekräftar effektiviteten hos den föreslagna IAF R-CNN.
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. REF introducerar Illumination Aware Snabbare R-CNN som adaptivt integrerar färg- och termiska undernätverk, och säkrar resultaten med hjälp av ett viktningsschema beroende på belysningstillståndet.
Illumination-aware Faster R-CNN for Robust Multispectral Pedestrian Detection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}