Vi försöker att upptäcka visuella relationer i bilder av formen av trillingar t = (ämne, predikat, objekt), såsom "person ridande hund", där utbildning exempel på de enskilda enheterna finns tillgängliga men deras kombinationer är sällsynta eller osynliga vid träning. Detta är en viktig uppställning på grund av den kombinatoriska karaktären av visuella relationer: samla in tillräckliga träningsdata för alla möjliga trioler skulle vara mycket svårt. Bidragen från detta arbete är trefaldiga. För det första lär vi oss en representation av visuella relationer som kombinerar (i) individuella inbäddningar för subjekt, objekt och predikat tillsammans med (ii) en visuell fras inbäddning som representerar relationen trilling. För det andra lär vi oss att överföra visuella uttryck inbäddade från befintliga träningstrillingar till osynliga testtrilletter med hjälp av analogier mellan relationer som involverar liknande objekt. För det tredje visar vi fördelarna med vår strategi för två utmanande dataset med sällsynta och osynliga relationer: på HICO-DET, vår modell uppnår betydande förbättringar jämfört med en stark baslinje, och vi bekräftar denna förbättring när det gäller hämtning av osynliga trillingar på UnRel sällsynta relation dataset.
Alternativt Peyre et al. REF lär sig en visuell relationsrepresentation som kombinerar kompositionsrepresentation för ämne, mål och predikat med en visuell frasrepresentation för HOI-detektion.
Detecting rare visual relations using analogies
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}