Detta dokument introducerar en video datauppsättning av spatiotemporalt lokaliserade Atomic Visual Actions (AVA). AVA datasetet är tätt annoterat 80 atomiska visuella åtgärder i 437 15-minuters videoklipp, där åtgärder lokaliseras i rum och tid, vilket resulterar i 1.59M action etiketter med flera etiketter per person som förekommer ofta. De viktigaste egenskaperna hos vår datauppsättning är: 1) definitionen av atomiska visuella åtgärder, snarare än sammansatta åtgärder; 2) exakta spatio-temporala anteckningar med möjligen flera annoteringar för varje person; 3) uttömmande notering av dessa atomiska åtgärder över 15-minuters videoklipp; 4) personer tidsmässigt kopplade över på varandra följande segment; och (5) med hjälp av filmer för att samla en varierad uppsättning åtgärder representationer. Detta avviker från befintliga datauppsättningar för spatio-temporal åtgärdsigenkänning, som normalt ger glesa annoteringar för sammansatta åtgärder i korta videoklipp. AVA, med sin realistiska scen och sin handlings komplexitet, avslöjar den inneboende svårigheten med att erkänna åtgärder. För att jämföra detta presenterar vi ett nytt tillvägagångssätt för handlingslokalisering som bygger på de nuvarande state-of-the-art metoder, och visar bättre prestanda på JHMDB och UCF101-24 kategorier. Samtidigt som man sätter en ny topp på befintliga datauppsättningar, är de övergripande resultaten på AVA låga på 15,8 % mAP, vilket understryker behovet av att utveckla nya metoder för video förståelse.
Gu m.fl. REF införde ett nytt dataset för upptäckt av mänskliga åtgärder som kallas atomiska visuella åtgärder (AVA) och föreslog ett tillvägagångssätt för lokalisering av åtgärder som bygger på de nuvarande toppmoderna metoderna.
AVA: A Video Dataset of Spatio-Temporally Localized Atomic Visual Actions
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}