Object detection in wide area motion imagery (WAMI) har uppmärksammat forskarsamhället för datorseende under ett antal år. WAMI föreslår ett antal unika utmaningar inklusive extremt små objektstorlekar, både glesa och tätt packade objekt, och extremt stora sökytor (stora videoramar). Nästan alla state-of-the-art metoder i WAMI objekt detektionsrapport att utseende-baserade klassificeringar misslyckas i denna utmanande data och istället förlitar sig nästan helt på rörelseinformation i form av bakgrund subtraktion eller inramning. I detta arbete, vi experimentellt verifiera misslyckandet av utseende-baserade klassificerare i WAMI, såsom Snabbare R-CNN och en värmekarta-baserade helt konvolutionella neurala nätverk (CNN), och föreslå en ny två-steg spatio-temporal CNN som effektivt och effektivt kombinerar både utseende och rörelseinformation för att avsevärt överträffa state-of-the-art i WAMI objektdetektion. För att minska det stora sökutrymmet, tar det första steget (Clus-terNet) i en uppsättning extremt stora videoramar, kombinerar rörelse- och utseendeinformation inom den konvolutionella arkitekturen, och föreslår regioner av objekt av intresse (ROOBI). Dessa ROOBI kan innehålla från en till kluster av flera hundra objekt på grund av den stora videoramstorlek och varierande objekttäthet i WAMI. Det andra steget (FoveaNet) sedan uppskattar centroiden plats för alla objekt i den givna ROOBI samtidigt via heatmap uppskattning. Den föreslagna metoden överskrider state-of-the-art resultat på WPAFB 2009 datauppsättning med 5-16% för flytta objekt och nästan 50% för stoppade objekt, samt är den första föreslagna metoden i breda område rörelsebilder för att upptäcka helt stationära objekt.
Å andra sidan antar REF en tvåstegs CNN där det första steget lär sig en grov värmekarta över de rörliga fordonen medan det andra steget behandlar de valda ROI-värdena för att lokalisera fordonen.
ClusterNet: Detecting Small Objects in Large Scenes by Exploiting Spatio-Temporal Information
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}