Uppmärksamhet spelar en avgörande roll i människans visuella upplevelse. Dessutom har det nyligen visat sig att uppmärksamhet också kan spela en viktig roll i samband med tillämpningen av artificiella neurala nätverk på en mängd olika uppgifter från områden som datorseende och NLP. I detta arbete visar vi att genom att korrekt definiera uppmärksamhet för konvolutionella neurala nätverk, kan vi faktiskt använda denna typ av information för att avsevärt förbättra prestandan hos ett student CNN-nätverk genom att tvinga det att härma uppmärksamhet kartor av ett kraftfullt lärarnätverk. I detta syfte föreslår vi flera nya metoder för att överföra uppmärksamhet, visar konsekvent förbättring över en mängd olika datauppsättningar och konvolutionella neurala nätverk arkitekturer. Kod och modeller för våra experiment finns på https://github.com/szagoruyko/attention-transfer.
Uppmärksamhetsöverföring REF tvingar studentnätverket att vara förenligt med lärarnätverket på resurskartor.
Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}