Peer-review spelar en avgörande roll i det vetenskapliga skrivandet och publicering ekosystemet. För att bedöma effektiviteten och ändamålsenligheten i granskningsprocessen är ett viktigt inslag att förstå och utvärdera själva granskningarna. I detta arbete studerar vi innehållet och strukturen i peer reviews under argumentet gruvdrift ram, genom att automatiskt upptäcka (1) argumenterande förslag som lagts fram av granskare, och (2) deras typer (t.ex., utvärdera arbetet eller lägga fram förslag till förbättring). Vi samlar först 14.2K recensioner från stora maskininlärning och naturligt språk bearbetning arenor. 400 recensioner är kommenterade med 10, 386 förslag och motsvarande typer av UTVÄRDERING, BEGÄRAN, FAKTA, REFERENS, eller KVOTE. Vi utbildar sedan toppmoderna förslagssegmenterings- och klassificeringsmodeller på data för att utvärdera deras verktyg och identifiera nya utmaningar för denna nya domän, motivera framtida riktningar för argumentbrytning. Ytterligare experiment visar att förslagsanvändning varierar mellan olika arenor i mängd, typ och ämne.
REF sammanställa en corpus bestående av 14,2k recensioner från större NLP och maskininlärning konferenser.