Multimediadata i verkliga världen är o en sammansatt av flera modaliteter såsom en bild eller en video med tillhörande text (t.ex. texttexter, användarkommentarer etc.) och metadata. Sådana multimodala datapaket är benägna att manipuleras, där en delmängd av dessa metoder kan ändras till felaktiga eller återanvända datapaket, med möjlig skadlig avsikt. Det är därför viktigt att utveckla metoder för att bedöma eller kontrollera dessa multimediapakets integritet. Använda datorseende och naturliga språk bearbetningsmetoder för att direkt jämföra bilden (eller videon) och tillhörande bildtext för att verifiera integriteten i ett mediepaket är endast möjligt för en begränsad uppsättning av objekt och scener. I detta dokument presenterar vi ett nytt djupt lärandebaserat tillvägagångssätt för att bedöma den semantiska integriteten hos multimediapaket som innehåller bilder och bildtexter, med hjälp av en referensuppsättning multimediapaket. Vi konstruerar en gemensam inbäddning av bilder och bildtexter med djup multimodal representationsinlärning om referensdatasetet i ett ramverk som också ger poäng för bildtextkonsistens (ICCS). E integriteten hos frågemediapaket bedöms som osäkerheten i fråga ICCS med avseende på referensdatasetet. Vi presenterar Multimodal Information Manipulation Dataset (MAIM), ett nytt dataset med mediepaket från Flickr, som vi gör tillgängligt för forskarsamhället. Vi använder både nyskapade dataset samt Flickr30K- och MS COCO-dataset för att kvantitativt utvärdera vårt föreslagna tillvägagångssätt. Referensdatauppsättningen innehåller inte ommanipulerade versioner av manipulerade frågepaket. Vår metod kan uppnå F 1 poäng på 0,75, 0,89 och 0,94 på MAIM, Flickr30K respektive MS COCO, för att detektera semantiskt osammanhängande mediepaket. Referensformat för ACM:
Jaiswal m.fl. REF lär sig en multimodal representation av referenspaket som innehåller en oöverträffad bild och en motsvarande bildtext för att bedöma ett visst dokuments semantiska integritet.
Multimedia Semantic Integrity Assessment Using Joint Embedding Of Images And Text
{'venue': 'In Proceedings of the 2017 ACM on Multimedia Conference, pp. 1465-1471. ACM, 2017', 'journal': None, 'mag_field_of_study': ['Computer Science']}