I detta dokument föreslås en automatisk rumsligt medveten metod för att upptäcka koncept med hjälp av svagt märkta bild-textdata från shoppingwebbplatser. Vi finjusterar först GoogleNet genom att gemensamt modellera kläder bilder och deras motsvarande beskrivningar i en visuell-semantisk inbäddning utrymme. Därefter, för varje attribut (ord), skapar vi dess rumsligt medvetna representation genom att kombinera dess semantiska ordvektorrepresentation med dess rumsliga representation som härleds från de konvolutionella kartorna i det finjusterade nätverket. De resulterande rumsligt medvetna representationerna används vidare för att klumpa ihop attribut i flera grupper för att bilda rumsligt medvetna begrepp (t.ex. kan necklinekonceptet bestå av attribut som v-ringning, rundhalsning osv.). Slutligen sönderdela vi den visuell-semantiska inbäddningen av utrymme i flera konceptspecifika subrymder, vilket underlättar strukturerad surfning och attribut-feedback produkthämtning genom att utnyttja multimodala språkliga regulariteter. Vi utförde omfattande experiment på vår nyinsamlade Fashion200K dataset, och resultat på kluster av kvalitetsutvärdering och attribut-feedback produkthämtning uppgift visar effektiviteten av våra automatiskt upptäckta rumsligt medvetna koncept.
I REF är modebilder och motsvarande produktbeskrivningar gemensamt modellerade i ett multimodalt inbäddningsutrymme.
Automatic Spatially-Aware Fashion Concept Discovery
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}