Självuppmärksamhetsmekanismen har i stor utsträckning använts för olika uppgifter. Den är utformad för att beräkna representationen av varje position med en viktad summa av egenskaperna vid alla positioner. Således kan det fånga långa förhållanden för datorseende uppgifter. Men det är beräkningskraftigt konsumerande. Eftersom uppmärksamhet kartor beräknas w.r.t alla andra positioner. I detta dokument formulerar vi uppmärksamhetsmekanismen till en förväntan-maximering sätt och iterativt uppskatta en mycket mer kompakt uppsättning baser som uppmärksamhetskartorna beräknas på. Genom en viktad sammanräkning på dessa baser, den resulterande representationen är låg-rank och deprecierar bullriga information från inmatningen. Den föreslagna Expectation-Maximization Uppmärksamhet (EMA) modulen är robust till variansen av indata och är också vänlig i minne och beräkning. Dessutom har vi satt upp baserna underhålls- och normaliseringsmetoder för att stabilisera dess träningsprocedur. Vi utför omfattande experiment på populära semantiska segmenteringsriktmärken inklusive PAS-CAL VOC, PASCAL Context och COCO Stuff, där vi sätter nya rekord 1.
EMANet REF omformulerar självbetjäningsmekanismen till en förväntan-maximering iterationsmetod.
Expectation-Maximization Attention Networks for Semantic Segmentation
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}