Vi presenterar en generativ ram för noll-shot åtgärd erkännande där några av de möjliga åtgärdsklasser inte förekommer i träningsdata. Vårt tillvägagångssätt bygger på att modellera varje åtgärdsklass med hjälp av en sannolikhetsfördelning vars parametrar är funktioner hos egenskapen vektor som representerar denna åtgärdsklass. I synnerhet antar vi att fördelningsparametrarna för varje åtgärdsklass i det visuella rummet kan uttryckas som en linjär kombination av en uppsättning basvektorer där kombinationsvikterna ges av attributen för åtgärdsklassen. Dessa basvektorer kan endast läras med hjälp av märkta data från de kända (dvs. tidigare sett) åtgärdsklasserna, och kan sedan användas för att förutsäga parametrarna för sannolikhetsfördelningen för osedda aktionsklasser. Vi överväger två inställningar: 1) Induktiv inställning, där vi endast använder de märkta exemplen på de synliga aktionsklasserna för att förutsäga de osynliga handlingsklassparametrarna; och 2) Transduktiv inställning som ytterligare utnyttjar omärkta data från de osynliga aktionsklasserna. Vår ram sträcker sig naturligtvis också till ett fåtal åtgärdsigenkänningar där det finns några märkta exempel från osedda klasser. Våra experiment på referensdataset (UCF101, HMDB51 och Olympic) visar betydande prestandaförbättringar jämfört med olika baslinjer, i både standard-noll-shot (avskiljda och osynliga klasser) och generaliserade noll-shot inlärningsinställningar.
Författare i REF använde Gaussian baserad generativ metod för att öka data för nya klasser, där varje åtgärd representeras i det visuella utrymmet som en sannolikhetsfördelning.
A Generative Approach to Zero-Shot and Few-Shot Action Recognition
{'venue': '2018 IEEE Winter Conference on Applications of Computer Vision (WACV)', 'journal': '2018 IEEE Winter Conference on Applications of Computer Vision (WACV)', 'mag_field_of_study': ['Computer Science']}