Halvövervakad nodklassificering i grafer är ett grundläggande problem i grafbrytning, och den nyligen föreslagna grafen neurala nätverk (GNNs) har uppnått oöverträffade resultat på denna uppgift. På grund av deras enorma framgång har GNN dragit till sig mycket uppmärksamhet, och många nya arkitekturer har lagts fram. I detta dokument visar vi att befintliga utvärderingsstrategier för GNN-modeller har allvarliga brister. Vi visar att med hjälp av samma tåg/validering/test uppdelning av samma datauppsättningar, samt göra betydande ändringar i utbildningsförfarandet (t.ex. Kriterier för tidigt stopp) utesluter en rättvis jämförelse av olika arkitekturer. Vi gör en grundlig empirisk utvärdering av fyra framstående GNN-modeller och visar att olika uppdelningar av data leder till dramatiskt olika rankning av modeller. Ännu viktigare är att våra resultat tyder på att enklare GNN-arkitekturer kan överträffa de mer sofistikerade om hyperparametrarna och träningsproceduren justeras rättvist för alla modeller.
I REF, författarna anser semi-övervakad nod klassificering och visa effekten av olika tåg / validering / test splits och hyperparametrar på prestandan för flera graf neurala nätverk modeller.
Pitfalls of Graph Neural Network Evaluation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}