Diagram Neural Networks (GNN) har uppnått lovande resultat på ett brett spektrum av grafbaserade uppgifter. Trots deras framgång, en allvarlig begränsning av GNNs är over-smoothing frågan (oskiljbara representationer av noder i olika klasser). I detta arbete presenterar vi en systematisk och kvantitativ studie om den övermjukande frågan om GNN. För det första introducerar vi två kvantitativa mått, MAD och MADGap, för att mäta mjukhet och översmoothness av graf noderna representationer, respektive. Sedan verifierar vi att utjämning är karaktären av GNNs och den kritiska faktorn som leder till översmoothness är den låga informations-till-brus-förhållandet av meddelandet som mottas av noderna, vilket delvis bestäms av graf topologin. Slutligen föreslår vi två metoder för att lindra problemet med överslipning ur topologisk synvinkel: (1) MADReg som lägger till en MADGap-baserad regularizer till utbildningsmålet; (2) AdaGraph som optimerar graftopologin baserat på modellprognoserna. Omfattande experiment på 7 allmänt använda grafdatauppsättningar med 10 typiska GNN-modeller visar att de två föreslagna metoderna är effektiva för att lindra problemet med överslätning, vilket förbättrar prestandan hos olika GNN-modeller.
Chen och Al. REF konstaterade att GNN-modellernas prestanda vanligtvis försämras vid användning av mer än 2 lager på grund av lokal utjämning och föreslog att man skulle ta bort/lägga till kanter i en graf för att minska problemet med överslätning av GNN-modeller.
Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks from the Topological View
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}