Djupa neurala nätverk (DNN) tränas på ett övervakat sätt lider av två kända problem. För det första motsvarar minima för den objektiva funktion som används vid inlärning datapunkter (även kallade skräpexempel eller lurande bilder) som saknar semantisk likhet med träningsdata. För det andra kan en ren input ändras av en liten, och ofta omärklig för mänsklig syn, perturbation, så att den resulterande deformerade indata felklassificeras av nätverket. Dessa rön betonar skillnaderna mellan hur DNN och människor klassificerar mönster, och väcker en fråga om att utforma lärande algoritmer som mer exakt efterliknar mänsklig perception jämfört med de befintliga metoderna. I vårt dokument undersöks dessa frågor inom ramen för modellerna Dense Associative Memory (DAM). Dessa modeller definieras av energifunktionen, med högre ordning (högre än kvadratiska) interaktioner mellan nervcellerna. Vi visar att i gränsen när kraften i interaktionen vertex i energifunktionen är tillräckligt stor, dessa modeller har följande tre egenskaper. För det första är den objektiva funktionens minima fria från skräpbilder, så att varje minimum är ett semantiskt meningsfullt mönster. För det andra, artificiella mönster som står exakt vid beslutsgränsen ser tvetydiga ut för mänskliga subjekt och delar aspekter av båda klasserna som är åtskilda av den beslutsgränsen. För det tredje, kontradiktoriska bilder konstruerade av modeller med liten effekt av interaktionsvertex, som är likvärdiga med DNN med rättade linjära enheter (ReLU), misslyckas med att överföra till och lura modellerna med högre orderinteraktioner. Detta öppnar upp en möjlighet att använda högre order modeller för att upptäcka och stoppa skadliga motangrepp. De resultat som presenteras tyder på att DAM med högre orderenergifunktioner är närmare människans visuella perception än DNN med ReLUs.
Krotov m.fl. REF föreslår idén om Dense Associative Memory, som använder högre-än-kvadratisk ordning aktiveringsfunktioner.
Dense Associative Memory is Robust to Adversarial Inputs
{'venue': 'Neural Computation Volume 30, Issue 12, December 2018 p.3151-3167', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Biology', 'Mathematics', 'Medicine']}