Modellering modekompatibilitet är utmanande på grund av dess komplexitet och subjektivitet. Befintligt arbete fokuserar på att förutsäga kompatibilitet mellan produktbilder (t.ex. en bild som innehåller en t-shirt och en bild som innehåller ett par jeans). Dessa tillvägagångssätt ignorerar dock verkliga "scen"-bilder (t.ex. Selfies); sådana bilder är svåra att hantera på grund av deras komplexitet, skräp, variationer i belysning och pose (etc.) Men å andra sidan skulle det kunna ge ett viktigt sammanhang (t.ex. användarens kroppstyp, eller säsongen) för att ge mer exakta rekommendationer. I detta arbete föreslår vi en ny uppgift som heter "Fullborda utseendet", som syftar till att rekommendera visuellt kompatibla produkter baserade på scenbilder. Vi utformar ett tillvägagångssätt för att extrahera träningsdata för denna uppgift, och föreslår ett nytt sätt att lära scenen-produktkompatibilitet från mode- eller inredningsbilder. Vår strategi mäter kompatibilitet både globalt och lokalt via CNN:er och uppmärksamhetsmekanismer. Omfattande experiment visar att vår metod uppnår betydande prestandavinster jämfört med alternativa system. Mänsklig utvärdering och kvalitativ analys genomförs också för att ytterligare förstå modellens beteende. Vi hoppas att detta arbete kan leda till användbara tillämpningar som förbinder stora korpora av verkliga scener med shoppbara produkter.
I det senaste arbetet REF har kompletterande objekt hämtats baserat på kompatibiliteten med scenbilder.
Complete the Look: Scene-Based Complementary Product Recommendation
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}