Graph convolutional network (GCN) har framgångsrikt tillämpats på många grafbaserade applikationer, men utbildning av ett storskaligt GCN är fortfarande en utmaning. Nuvarande SGD-baserade algoritmer lider av antingen en hög beräkningskostnad som exponentiellt växer med antal GCN-lager, eller ett stort utrymmeskrav för att hålla hela grafen och inbäddningen av varje nod i minnet. I detta dokument föreslår vi Cluster-GCN, en ny GCN-algoritm som lämpar sig för SGD-baserad utbildning genom att utnyttja grafklusterstrukturen. Cluster-GCN fungerar som följande: vid varje steg, det prover ett block av noder som associerar med en tät subgraph identifieras av en graf kluster algoritm, och begränsar grannskapet sökning inom denna subgraf. Denna enkla men effektiva strategi leder till avsevärt förbättrad minnes- och beräkningseffektivitet samtidigt som den kan uppnå jämförbar testnoggrannhet med tidigare algoritmer. För att testa skalbarheten hos vår algoritm skapar vi en ny Amazon2M data med 2 miljoner noder och 61 miljoner kanter som är mer än 5 gånger större än den tidigare största allmänt tillgängliga datauppsättningen (Reddit). För att träna en 3-lagers GCN på dessa data är Cluster-GCN snabbare än den tidigare toppmoderna VR-GCN (1523 sekunder jämfört med 1961 sekunder) och använder mycket mindre minne (2,2GB jämfört med 11,2GB). Dessutom, för utbildning 4 lager GCN på denna data, kan vår algoritm avsluta på cirka 36 minuter medan alla befintliga GCN träningsalgoritmer misslyckas med att träna på grund av den out-of-minne problemet. Dessutom kan Cluster-GCN oss att träna mycket djupare GCN utan mycket tid och minne overhead, vilket leder till förbättrad förutsägelse noggrannhet-med hjälp av en 5-lagers Cluster-GCN, vi uppnå state-of-the-art test F1 poäng 99.36 på PPI dataset, medan det tidigare bästa resultatet var 98.71 genom [16].
Nodberoende REF tvingar GNN att tränas på hela grafen, vilket leder till en långsam traneringsprocess.
Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks
{'venue': None, 'journal': 'Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining', 'mag_field_of_study': ['Computer Science', 'Mathematics']}