Peer review är en central del i den vetenskapliga publiceringsprocessen. Vi presenterar den första offentliga datauppsättningen av vetenskapliga peer reviews tillgängliga för forskningsändamål (PeerRead v1), 1 ger en möjlighet att studera denna viktiga artefakt. Datauppsättningen består av 14,7K pappersutkast och motsvarande godkända/avslagna beslut på toppnivå, inklusive ACL, NIPS och ICLR. Datasetet innehåller också 10.7K text peer reviews skrivna av experter för en delmängd av dokumenten. Vi beskriver datainsamlingsprocessen och rapporterar intressanta observerade fenomen i peer reviews. Vi föreslår också två nya NLP-uppgifter baserade på denna datauppsättning och tillhandahåller enkla baslinjemodeller. I den första uppgiften visar vi att enkla modeller kan förutsäga om ett dokument accepteras med upp till 21 procents felreduktion jämfört med majoritetens baslinje. I den andra uppgiften förutspår vi de numeriska poängen av granskningsaspekter och visar att enkla modeller kan överträffa medelvärdet för baslinje för aspekter med hög varians såsom "originalitet" och "konsekvens".
REF ger en corpus av data science papers från ACL, NeurIPS, CoNLL (SignLL Conference on Computational Natural Language Learning) och ICLR, tillsammans med acceptera / avvisa beslut och recensioner för en delmängd av papperen.
A Dataset of Peer Reviews (PeerRead): Collection, Insights and NLP Applications
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}