Många nya arbeten om kunskapsdestillering har gett möjligheter att överföra kunskaperna i ett utbildat nätverk för att förbättra inlärningsprocessen för en ny, men att hitta en bra teknik för kunskapsdestillering är fortfarande ett öppet problem. I detta dokument ger vi ett nytt perspektiv baserat på en beslutsgräns, som är en av de viktigaste komponenten i en klassificering. En klassificeringsskalas generaliseringsprestanda är nära relaterad till dess beslutsgränss lämplighet, så en bra klassificeringsskala har en bra beslutsgräns. Därför kan överföring av information som är nära relaterad till beslutsgränsen vara ett bra försök till kunskapsdestillation. För att förverkliga detta mål använder vi en kontradiktorisk attack för att upptäcka prover som stöder en beslutsgräns. Baserat på denna idé, för att överföra mer exakt information om beslutsgränsen, den föreslagna algoritmen utbildar en student klassificerare baserat på de kontradiktoriska prover som stöder beslutsgränsen. Experiment visar att den föreslagna metoden verkligen förbättrar kunskapsdestilleringen och uppnår de senaste resultaten.
Byeongho m.fl. REF antar den kontradiktoriska metoden för att upptäcka kontradiktoriska prover som stöder beslutsgränsen.
Knowledge Distillation with Adversarial Samples Supporting Decision Boundary
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}