a) Attributvariabler värmekartor över 312 attribut i CUB fåglar [59] och 102 attribut i SUN scener [46] (lättare färg indikerar lägre varians, dvs. lägre diskriminabilitet) och t-SNE [34] visualiseringar av test bilder som representeras av alla attribut (vänster) och endast de högvarianter (höger). Vissa av egenskaperna med låg variation (den ljusare delen till vänster om cut-off-linjen) som kastas överbord under träningen behövs fortfarande för att särskilja osedda testklasser. (b) Jämförelse av rekonstruerade bilder med SAE [25] och vår föreslagna SP-AEN-metod, som visar sig behålla tillräckligt med semantik för fotorealistisk rekonstruktion. Vi föreslår en ny ram kallad Semantics-Preserving Adversarial Embedding Network (SP-AEN) för noll-shot visuell igenkänning (ZSL), där testbilder och deras klasser är både osynliga under utbildningen. SP-AEN syftar till att ta itu med det inneboende problemet -semantisk förlust i den rådande familjen av inbäddning-baserade ZSL, där vissa semantik skulle kastas under utbildningen om de är icke-diskriminerande för utbildningsklasser, men kan bli kritiska för att känna igen testklasser. I synnerhet förhindrar SP-AEN den semantiska förlusten genom att införa en oberoende visuell-till-semantisk rymdbädd som lösgör det semantiska utrymmet i två subrymder för de två obestridligen motstridiga målen: klassificering och återuppbyggnad. Genom kontradiktorisk inlärning av de två subrymderna kan SP-AEN överföra semantiken från den rekonstruerande subrymden till den diskriminativa, vilket åstadkommer den förbättrade noll-shot-igenkänningen av osynliga klasser. Jämföra * Motsvarande Författare med tidigare verk, SP-AEN kan inte bara förbättra klassificeringen utan också generera fotorealistiska bilder, visar effektiviteten av semantiskt bevarande. På fyra populära riktmärken: CUB, AWA, SUN och APY överträffar SP-AEN betydligt andra toppmoderna metoder med en absolut resultatskillnad på 12. 2 %, 9,3 %, 4,0 % och 3,6 % i termer av harmoniska medelvärden [62].
Chen och Al. REF föreslog semantik-bevarande Adversarial Embedding Network (SP-AEN) för att bevara semantisk information under bildfunktionen synthesizing.
Zero-Shot Visual Recognition Using Semantics-Preserving Adversarial Embedding Networks
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}