Människans skissförståelse är viktig. Den har många tillämpningar i mänsklig datorinteraktion, multimedia och datorseende. Att känna igen mänskliga skisser är också en utmaning. Tidigare metoder fokuserar på enstaka objekt skissigenkänning. Att förstå människans scen skiss som involverar flera objekt och deras komplexa interaktioner har inte undersökts. I detta dokument tar vi itu med detta nya problem. Vi skapar den första scenen skissdatasetet "Scene250" och föreslår en djupinlärningsmetod för att förstå mänskliga scenskisser. Vi föreslår "Scene-Net", en ny djup konvolutionell neurala nätverk (CNN) struktur, baserat på vilken vi bygger en ny scen skiss erkännande system. Vårt system har testats på den insamlade scenen skissdata och jämförts med andra state-of-the-art CNNs och skiss erkännande metoder. Våra experimentella resultat visar att vår metod uppnår toppmodernt.  Kategorier och ämnesdeskriptorer Sedan förhistoriska tider har skissning varit ett unikt sätt att visuellt återge människans sinne. I dag, med den ökande populariteten av enheter med pekskärmar (t.ex. touch pads och smarta telefoner), skiss har blivit en av de mest naturliga sätten att människa-dator interaktion. Sketching på en scen av en smart telefon har använts för att ge indata till en bild hämtningssystem. Det kan användas som frontal ände för att generera hela 3D-modeller. Sketching ger också ett attraktivt gränssnitt för barn, särskilt förskolebarn, att interagera med datorer. Att lära datorer att förstå handritade skisser är därför värdefullt. Tillstånd att göra digitala eller papperskopior av hela eller delar av detta arbete för personligt bruk eller klassrum beviljas utan avgift, förutsatt att kopiorna inte görs eller distribueras för vinst eller kommersiella fördelar och att kopiorna är försedda med detta meddelande och den fullständiga hänvisningen på första sidan. Upphovsrätt till delar av detta verk som ägs av andra än ACM måste hedras. Abstraktering med kredit är tillåten. För att kopiera på annat sätt, eller återpublicera, för att posta på servrar eller för att omfördela till listor, krävs tidigare specifik behörighet och/eller avgift. Begär tillstånd från authoritys@acm.org. ICMR '16, 6–9 juni 2016, New York, NY, USA. Sketch förståelse har fått fler och fler intressen på senare tid. Sketch förståelse är också ganska utmanande. Svårigheten beror främst på att en skiss endast innehåller linjer och saknar färg, textur och tillräckligt med visuella signaler jämfört med färgbilder. Människoskisser skildrar också ofta komplexa koncept på hög nivå. Nuvarande skissrelaterade metoder fokuserar främst på att känna igen skisser som endast innehåller ett enda objekt [1, 9] i varje bild. Dessa enstaka objektskisser skiljer sig dock mycket från de skisser som människor vanligtvis ritar. I en människoritad skiss ser vi ofta kompletta scener eller till och med en avbildad berättelse (Fig. 1).................................................................. Utan information om objekt regioner och segmenteringar, att förstå en scen skiss med flera objekt är mer utmanande än att känna igen enstaka objekt skiss. En annan faktor som komplicerar scenskissigenkänningen är den möjliga variationen av rotation, skala och utsiktspunkt som visas i bild. 2............................................................... Det är också osäkert om teckningsstilen. Tusen människor kan teckna samma scen på tusen olika sätt. När du skissar samma scen, olika människor tenderar att välja olika uppsättning av objekt (Fig. 2: Öken). Skissarna av "River" kan vara antingen flera drag för att avbilda flodens form eller ett porträtt med fina detaljer av växter längs floden (Fig. 2: Flod). Hittills har det saknats en omfattande studie av hur människans scenskisser kan förstås väl av datorer. I den här artikeln studerar vi scenskissförståelse. Vi skapar den första scenen skiss dataset Scene250 och utforska djupt lärande tillvägagångssätt för scen skiss förståelse. Vi föreslår en ny djup CNN struktur och bygga en ny scen skiss förståelse system baserat på denna modell. Prestandan i vårt system har testats på den insamlade scenen skissdatauppsättning och jämfört med andra state-of-theart skiss erkännande metoder. Våra metoder ger mycket bättre resultat än dessa tidigare metoder. Såvitt vi vet är detta arbete det första försöket att utforska scenskissförståelse och att bygga ett djupt lärande CNN för att lösa problemet. Våra viktigaste bidrag i detta dokument lyfts fram på följande sätt: • Den första scenskissdatauppsättningen skapas och är öppen för allmänheten. Den innehåller 250 scenskisser i 10 kategorier. Skissarna inkluderar vanliga inomhus- och utomhusscener. • En ny scen skiss djup CNN struktur föreslås för att rikta scenen skiss erkännande uppgift. • Omfattande experiment har genomförts för att utvärdera de senaste metoderna för att känna igen skisser på människans scenskisser. Försäkringstekniska avsättningar beräknade som helhet
Så vitt vi vet, bara Ye et al. REF har föreslagit en djupgående CNN-modell "Scene-Net" för klassificering av scenskisser.
Human's Scene Sketch Understanding
{'venue': "ICMR '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}