Den dominerande grafen neurala nätverk (GNNs) overrely på grafen länkar, flera allvarliga prestanda problem med som redan har bevittnats, t.ex. suspenderad animering problem och över-smoothing problem. Dessutom utesluter den naturligt sammankopplade naturen parallellisering inom grafen, som blir kritisk för stora grafer, eftersom minnesbegränsningar begränsar batching över noderna. I detta dokument kommer vi att införa ett nytt grafneuralt nätverk, nämligen GRAPH-BERT (Graph-baserat BERT), enbart baserat på uppmärksamhetsmekanismen utan några grafkonvolutions- eller aggregeringsoperatörer. I stället för att mata GRAPH-BERT med den fullständiga stora inmatningsgrafen föreslår vi att GRAPH-BERT tränas med slumpmässiga länklösa subgrafer i sina lokala sammanhang. GRAPH-BERT kan läras effektivt i ett fristående läge. Samtidigt kan en förutbildad GRAPH-BERT också överföras till andra tillämpningsuppgifter direkt eller med nödvändig finjustering om det finns någon övervakad märkningsinformation eller ett visst tillämpningsinriktat mål. Vi har testat effektiviteten hos GRAPH-BERT på flera diagramriktvärden. Baserat på det förtränade GRAPH-BERT med nodattributet rekonstruktions- och strukturåterställningsuppgifter, finjusterar vi ytterligare GRAPH-BERT på nodklassificering och grafklustringsuppgifter specifikt. De experimentella resultaten har visat att GRAPH-BERT kan överträffa befintliga GNN både vad gäller inlärningseffektivitet och effektivitet.
I REF utforskar författarna att utvidga BERT för grafrepresentationsinlärning, som kastar graflänkarna och lär sig nodrepresentationer endast baserat på uppmärksamhetsmekanismen.
Graph-Bert: Only Attention is Needed for Learning Graph Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}