En aktiveringsgräns för en neuron avser ett separerande hyperplan som avgör om neuronen är aktiverad eller avaktiverad. Det har länge ansetts i neurala nätverk att aktivering av neuroner, snarare än deras exakta utgångsvärden, spelar den viktigaste rollen i att bilda klassificeringsvänliga partitioner av den dolda funktionen utrymme. Så vitt vi vet har emellertid denna aspekt av neurala nätverk inte beaktats i litteraturen om kunskapsöverföring. I detta dokument föreslår vi en kunskapsöverföringsmetod genom destillation av aktiveringsgränser som bildas av dolda neuroner. För destillationen föreslår vi en aktiveringsförlust som har det lägsta värdet när de gränser som studenten genererar sammanfaller med de som läraren skapar. Eftersom aktiveringsöverföringsförlusten inte kan skiljas åt, designar vi en bitvis differentierad förlust som ungefär motsvarar aktiveringsöverföringsförlusten. Genom den föreslagna metoden lär sig studenten en åtskiljande gräns mellan aktiveringsregion och deaktiveringsregion som bildas av varje neuron i läraren. Genom experimenten i olika aspekter av kunskapsöverföringen verifieras att den föreslagna metoden överträffar den nuvarande toppmoderna tekniken.
I REF förespråkar författarna användningen av aktiveringsgränsen för neuroner (snarare än deras exakta utgångsvärden), och föreslår en kunskapsöverföringsmetod genom destillation av aktiveringsgränser som bildas av dolda neuroner.
Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}