Figur 1: CNN-baserade metoder för bildförfalskningsdetektering tenderar att överpassa sig till källutbildningsdata och utföra dåligt på nya osedda manipulationer. ForensicTransfer introducerar en ny autoencoder-baserad arkitektur som kan övervinna detta problem med endast få märkta målexempel. Tanken är att lära sig en discriminativ funktionsrepresentation i det latenta utrymmet så att endast specifika komponenter i den dolda vektorn aktiveras för de orörda och smidda klasserna. Att skilja förfalskningar från verkliga bilder blir allt svårare när nya sofistikerade bildmanipulationer kommer ut för varje dag. Konvolutionella neurala nätverk (CNN) visar utmärkt prestanda i att upptäcka bildmanipuleringar när de är utbildade på en specifik förfalskningsmetod. Men när det gäller exempel från osedda manipuleringsmetoder sjunker deras prestanda avsevärt. För att ta itu med denna begränsning i överförbarhet, introducerar vi ForensicTransfer (FT). ForensicTransfer tar itu med två utmaningar inom multimediateknik. Först utformar vi en inlärningsbaserad kriminalteknisk detektor som anpassar sig väl till nya domäner, dvs. nya manipulationsmetoder. För det andra hanterar vi scenarier där endast en handfull falska exempel finns tillgängliga under utbildningen. I detta syfte lär vi oss en kriminalteknisk inbäddning som kan användas för att skilja mellan verkliga och falska bilder. Vi använder en ny autoencoder-baserad arkitektur som driver aktiveringar i olika delar av en latent vektor för verkliga och falska klasser. Tillsammans med begränsningen av korrekt rekonstruktion säkerställer detta att det latenta utrymmet behåller all relevant information om bildens karaktär. Därför fungerar den lärda inbäddningen som en form av anomalidetektor; nämligen, en bild manipuleras från en osynlig metod kommer att upptäckas som falska förutsatt att den kartor tillräckligt långt från kluster av verkliga bilder. Jämfört med tidigare arbeten visar FT betydande förbättringar i överförbarhet, vilket vi demonstrerar i en rad experiment på banbrytande riktmärken. När det till exempel gäller osynliga exempel uppnår vi upp till 80-85 procent i fråga om noggrannhet jämfört med 50-59 procent, och med bara en handfull synliga exempel når vår prestation redan omkring 95 procent.
Tyvärr, om ett nätverk utbildas på en viss arkitektur, dess prestanda försämras kraftigt när det används för att upptäcka bild som genereras av en annan arkitektur REF.
ForensicTransfer: Weakly-supervised Domain Adaptation for Forgery Detection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}