Peer assessment hjälper eleverna att reflektera och exponera dem för olika idéer. Den skalar bedömningen och gör det möjligt för stora online-klasser att använda öppna uppdrag. Det kräver dock att studenterna lägger ner mycket tid på att betygsätta sig. Hur kan vi minska denna graderingsbörda samtidigt som vi upprätthåller kvaliteten? Detta dokument integrerar peer och maskinklassificering för att bevara robustheten i peer assessment och lägre graderingsbörda. I identifieringsverifieringsmönstret förutsäger en graderingsalgoritm först en studentgrad och uppskattar självförtroende, vilket används för att uppskatta antalet deltagare som krävs. Peers identifiera sedan viktiga funktioner i svaret med hjälp av en rubric. Slutligen kontrollerar andra kolleger om dessa funktionsetiketter har tillämpats korrekt. Detta mönster justerar antalet jämlikar som utvärderar ett svar baserat på algoritmiskt förtroende och kamratavtal. Vi utvärderade detta mönster med 1370 studenter i en stor designklass online. Med endast 54% av studentens betygstid ger mönstret identifiera-verifiera 80-90% av den noggrannhet som erhålls genom att ta medianen för tre inbördes poäng, och ger mer detaljerad feedback. Ett andra experiment visade att verifiering dramatiskt förbättrar noggrannheten med fler taxare, med en 20% vinst över peer-median med fyra taxrar. Verifieringen leder dock också till ett lägre initialt förtroende för klassificeringssystemet. Identifiera mönstret är ett exempel på hur kamratarbete och maskininlärning kan kombineras för att förbättra inlärningsupplevelsen.
Kulkarni m.fl. Ref kombinerade peer- och maskinklassificering till öppna bedömningar samtidigt som kvaliteten på peer assessment bibehålls och bördan av att gradera bedömningarna lindras.
Scaling short-answer grading by combining peer assessment with algorithmic scoring
{'venue': "L@S '14", 'journal': None, 'mag_field_of_study': ['Computer Science']}