Uppfattningar betraktas av många forskare som det mest användbara verktyget för att bedöma läranderesultat, vilket innebär förmågan att minnas, organisera och integrera idéer, förmågan att uttrycka sig skriftligt och förmågan att tillhandahålla endast än att identifiera tolkning och tillämpning av data. Det är i mätningen av sådana resultat, som motsvarar utvärderings- och syntesnivåerna i Blooms taxonomi (1956) som essäfrågorna tjänar sitt mest användbara syfte. En av svårigheterna med att betygsätta essäer representeras av den upplevda subjektiviteten i betygsprocessen. Många forskare hävdar att den subjektiva karaktären av uppsatsbedömning leder till variation i betyg som delas ut av olika mänskliga bedömare, vilket av studenterna uppfattas som en stor källa till orättvisa. Detta problem kan lösas genom att man antar automatiska bedömningsverktyg för essäer. Ett system för automatiserad bedömning skulle åtminstone vara konsekvent i hur det poängsätter essäer, och enorma kostnads- och tidsbesparingar skulle kunna uppnås om systemet kan visas för betygsuppsatser inom intervallet för dem som tilldelas av mänskliga bedömare. I detta dokument ges en översikt över de nuvarande metoderna för automatisk bedömning av svar på fritext. Tio system, som för närvarande finns tillgängliga antingen som kommersiella system eller som resultat av forskning inom detta område, diskuteras: Project Essay Grade (PEG), Intelligent Essay Assessurator (IEA), Educational Testing service I, Electronic Essay Rater (E-Rater), C-Rater, BETSY, Intelligent Essay Marking System, ARE, Paperless School fri text Marking Engine och Automark. För varje system beskrivs den allmänna strukturen och den prestation som författarna hävdar. I den sista delen av tidningen görs ett försök att jämföra resultaten av de beskrivna systemen. De vanligaste problemen i forskningen om automatiserad uppsatsgradering är avsaknaden av både en bra standard för att kalibrera mänskliga märken och en tydlig uppsättning regler för val av mastertexter. En första slutsats är att för att verkligen jämföra systemens prestanda bör någon form av enhetlig åtgärd definieras. Dessutom konstateras att det inte finns någon standardiserad uppgiftsinsamling. Båda dessa problem är intressanta frågor för ytterligare forskning inom detta område. Nyckelord: Automatiserad Essay Grading, NLP, Computer-based Assessment Systems Assessment anses spela en central roll i utbildningsprocessen. Intresset för utveckling och användning av datorbaserade bedömningssystem (CbAS) har ökat exponentiellt under de senaste åren, både på grund av det ökade antalet studenter som deltar i universitet och de möjligheter som e-lärande erbjuder till asynkron och allestädes närvarande utbildning. Enligt våra rön (Valenti, CucMaterial publicerad som en del av denna tidskrift, antingen on-line eller i tryck, kopieras av utgivare av Journal of Information Technology Education. Tillstånd att göra digitala kopior eller papperskopior av delar eller alla dessa verk för personligt bruk eller klassrum beviljas utan avgift, förutsatt att kopiorna inte görs eller distribueras i vinstsyfte eller kommersiellt syfte OCH att kopiorna 1) är fullständiga och 2) innehåller en fullständig hänvisning på första sidan. Det är tillåtet att abstraktera dessa verk så länge kredit ges. Att kopiera i alla andra fall eller att publicera eller att posta på en server eller att omfördela till listor kräver särskild behörighet och betalning av en avgift. Kontakta Editor@JITE.org för att begära omfördelningstillstånd. Översikt av aktuell forskning om automatiserad Essay Grading 320 chiarelli, & Panti., 2002) mer än fyrtio kommersiella CbAS finns för närvarande på ma rket. De flesta av dessa verktyg bygger på användningen av de så kallade objektiva frågorna: d.v.s. Flera val, flera svar, kort svar, urval/association, hot spot och visuell identifiering (Valenti et al., 2000). De flesta forskare inom detta område är överens om avhandlingen att vissa aspekter av komplexa prestationer är svåra att mäta med hjälp av objektiva frågor. Lärandemål som innebär förmågan att återkalla, organisera och integrera idéer, förmågan att uttrycka sig skriftligt och förmågan att tillhandahålla enbart än att identifiera tolkning och tillämpning av data, kräver mindre strukturering av respons än vad som krävs av objektiva testobjekt (Gronlund, 1985). Det är i mätningen av sådana resultat, motsvarande de högre nivåerna av Blooms (1956) taxonomi (nämligen utvärdering och syntes) som essäfrågan tjänar sitt mest användbara syfte. En av svårigheterna med att betygsätta essäer är subjektiviteten, eller åtminstone den upplevda subjektiviteten, i betygsprocessen. Många forskare hävdar att den subjektiva karaktären av uppsatsbedömning leder till variation i betyg som delas ut av olika mänskliga bedömare, vilket av studenterna uppfattas som en stor källa till orättvisa. Dessutom är uppsatsgradering en tidskrävande aktivitet. Enligt Mason (2002) ägnar sig cirka 30 % av lärarnas tid i Storbritannien åt märkning. "Så om vi vill frigöra 30 % (värde 3 miljarder brittiska pund/år för skattebetalarna förresten) måste vi hitta ett effektivt sätt, som läraren kommer att lita på, att markera essäer och korta textsvar." Detta problem kan lösas genom att man antar automatiska bedömningsverktyg för essäer. Ett system för automatiserad bedömning skulle åtminstone vara konsekvent i det sätt på vilket det poängsätter essäer, och enorma kostnads- och tidsbesparingar skulle kunna uppnås om systemet kan visas för betygsuppsatser inom intervallet för dem som tilldelas av den mänskliga bedömaren. Enligt Hearst (2000) kommer dessutom användningen av datorer för att öka vår förståelse av de textegenskaper och kognitiva färdigheter som är involverade i skapandet och förståelsen av skrivna texter att ge ett antal fördelar för utbildningssamhället. I själva verket " kommer det att hjälpa oss att utveckla effektivare undervisningsmaterial för att förbättra läs -, skriv - och andra kommunikationsförmågor. Det kommer också att hjälpa oss att utveckla effektivare teknik som sökmotorer och system för svar på frågor för att ge allmän tillgång till elektronisk information." Syftet med detta dokument är att presentera en översikt över nuvarande metoder för automatisk bedömning av svar på fritext. I nästa avsnitt kommer därför följande system att diskuteras: Projekt Essay Grade (PEG), Intelligent Essay Assessor (IEA), Educational Testing service I, Electronic Essay Rater (ERater), C-Rater, BETSY, Intelligent Essay Marking System, SEAR, Paperless School fri text Marking Engine och Automark. Alla dessa system är för närvarande tillgängliga antingen som kommersiella system eller som resultat av forskning inom detta område. För varje system presenteras den allmänna strukturen och den prestation som författarna hävdar. I det sista avsnittet ska vi försöka jämföra dessa system och identifiera frågor som kan främja forskningen inom området. Nuvarande verktyg för automatiserad Essay Grading PEG är en av de tidigaste och längsta genomförda implementeringarna av automatiserad uppsatsgradering. Den utvecklades av Page m.fl. (Hearst, 2000; Page, 1994 Page, 1996 och bygger främst på stilanalys av ytlingvistiska drag i ett textblock. Således är en uppsats huvudsakligen graderas på grundval av skrivande kvalitet, utan hänsyn till innehållet. Utformningen av PEG bygger på begreppet "proxes", dvs. Dator approximationer eller mått av triner, inneboende variabler av intresse inom uppsatsen (vad en människa grader skulle leta efter men datorn kan inte direkt mäta) för att simulera mänsklig taxer gradering. Proxes inkluderar: essä längd (som antalet ord) för att representera trin av fluens; räkningar av prepositioner, relativa pronomen och andra delar av tal, som en indikator på komplexiteten i mening struktur; variation i ordlängd för att indikera diktion (eftersom mindre vanliga ord är ofta längre). Proxes beräknas utifrån en uppsättning träningsuppsatser och sedan omvandlas och används i en standard multipel regression tillsammans med de givna mänskliga betygen för träningsuppsatsen för att beräkna regressionskoefficienterna. Dessa regressionskoefficienter representerar den bästa approximationen till mänskliga kvaliteter när de erhålls enligt proxes. Sedan används de med de proxes som erhålls från omärkta essäer för att producera förväntade betyg. PEG bygger enbart på en statistisk metod baserad på antagandet att essäernas kvalitet återspeglas i de mätbara proxerna. Ingen teknik för naturlig språkbehandling (NLP) används och lexiskt innehåll beaktas inte. PEG kräver också utbildning, i form av bedömning av ett antal tidigare manuellt märkta essäer för proxes, för att utvärdera regressionskoefficienterna, vilket i sin tur möjliggör märkning av nya essäer. PRESTANDA: Sidans senaste experiment uppnådde resultat som nådde en multipel regressions korrelation så hög som 0,87 med mänskliga graderare. IEA utvecklades i slutet av nittiotalet (Hearst, 2000; Jerrams-Smith, Soh, & Callear, 2001) och bygger på Latent Semantic Analysis (LSA) teknik som ursprungligen utformats för indexering dokument och texthämtning (Deerwester, Dumais, Landauer, Furnas, & Harshman, 1990). LSA representerar dokument och deras ordinnehåll i ett stort tvådimensionellt matris semantiskt utrymme (Wittington & Hunt, 1999; Williams, 2001). Med hjälp av en matris algebra teknik som kallas Singular Value Decomposition (SVD), nya relationer mellan ord och dokument avslöjas, och befintliga relationer modifieras för att mer exakt representera deras sanna betydelse. En matris representerar orden och deras sammanhang. Varje ord som analyseras representerar en rad i matrisen, medan varje kolumn representerar meningarna, punkterna och andra underavdelningar i det sammanhang där ordet förekommer. Cellerna i matrisen innehåller frekvenserna av orden i varje sammanhang. Denna inledande matris omvandlas sedan enligt en omvänd dokumentfrekvensvägning, en mycket välkänd teknik för indexering och informationssökning domän. SVD appliceras sedan på matrisen för att dela upp den i tre komponenter matriser som reproducerar den ursprungliga om multipliceras tillsammans. Med hjälp av en reducerad dimension av dessa tre matriser där ord-kontext associationer kan representeras, uppstår nya relationer mellan ord och sammanhang när man rekonstruerar nära approximationer till den ursprungliga matrisen från den reducerade dime nsion komponent SVD matriser. Dessa nya relationer manifesteras, medan de före SVD var dolda eller latenta. För att gradera en uppsats byggs en matris för uppsatsdokumentet, och sedan omvandlas av SVD-tekniken för att ungefär reproducera matrisen med hjälp av de reducerade dimen nsional matriser som byggts för essäämnet semantiskt utrymme. (Det semantiska rummet består vanligtvis av essäer med människobetyg). Cosinus korrelation används för att mäta likheten mellan det reducerade dim nsionala utrymmet konstruerat utifrån ett "modellsvar", såsom en instruktionstext hämtad från en kurstext eller en uppsats utarbetad av klassläraren, mot en studentuppsats. LSA använder inte ordordning eftersom författarna hävdar att detta inte är den viktigaste faktorn för att greppa känslan av en passage. Det krävs också stora mängder data för att konstruera en lämplig matris representation av ordanvändning / förekomst, och på grund av storleken på de matriser inblandade beräkningar är mycket besvärlig. Viktiga funktioner i IEA inkluderar relativt låg enhetskostnad, snabb anpassad feedback, och plagiatdetektion. Vidare hävdar författarna att systemet är mycket väl lämpat för att analysera och göra expositionsuppsatser om ämnen som vetenskap, samhällsstudier, historia, medicin eller affärsverksamhet, men inte lämpar sig för att bedöma fakta. IEA bedömer och kritiserar automatiskt inskickad textuppsats och representerar ett användbart domänoberoende verktyg. Den ger omedelbar återkoppling om innehållet och kvaliteten på den studerandes skrivande. PRESTANDA: Ett test som utfördes på GMAT-uppsatser med hjälp av IEA-systemet resulterade i procenttal för intilliggande överenskommelser mellan 85 % och 91 %. Detta system, utvecklat av Burstein och Kaplan av Educational Testing Service i början av nittiotalet, fungerar bara på en mening fragment av mellan 15 och 20 ord (Wittington & Hunt, 1999). Tekniken använder lexical-semantiska tekniker för att bygga ett poängsättningssystem, baserat på små datamängder. Den använder en domänspecifik, konceptbaserad lexikon och en koncept grammatik, båda uppbyggda från träningsdata. Utbildningen data essäer tolkas av Microsoft Natural Language Processing (MsNLP) verktyg, alla suffix tas bort för hand, och en lista över stoppord tas också bort. Detta skapar en lexikon. Listan över ord och termer i lexikonet förblir konstant medan de funktioner som är förknippade med varje post är modulära, så kan bytas ut vid behov. Vissa manuella klassificeringar är nödvändiga, såsom specificering av vissa ord som metonymer av varandra och så vidare. Grammatikregler konstrueras sedan, igen manuellt, för varje kategori av svar (varje kategori bör innehålla alla parafraser för det möjliga svaret) med syntaktiska parser av meningar från träningsdata tillsammans med lexikonet. Nya essäer tolkas sedan av frasal nodextraktionsprogrammet som ger ut meningarnas substantiv, verb, adjektiv, adverb och prepositionsfraser etc. Systemet använder inte specifika delar av tal i detta skede så de kollapsas till en generisk XP-frastyp och meningen, eller vad som finns kvar av den nu, kontrolleras för matcher mot grammatiken och lexikonet. Den XP frasen typ tas från X-bar syntax, som försöker modellera gemensamma egenskaper mellan de olika syntaktiska komponenter av substantiv, verb, adjektiv och preposition fras etc. Istället för att bygga en annan grammatikregel för varje annan typ av fras, X-bar syntax generaliserar ut till en enda regel som gäller universellt för alla. Systemet innebär massor av förbearbetning och mycket av det är manuellt, även om författarna hävdar att kostnaden, med tiden, fortfarande är värt att spara. PRESTANDA: Upphovsmännen till systemet ETS I kräver en noggrannhet på 80 % vid märkning av essätestuppsättningen och 90 % vid märkning av både utbildnings- och testuppsättningen, dvs. använda utbildningen systemet på en uppsättning essäer och sedan inkludera det i testuppsättningen för märkning delen också. Den vanligaste källan till fel beror på luckor i lexikonet, dvs. till ord som inte är manuellt identifierade som metonymer. I ett andra rapporterat experiment antog författarna ett förstärkt lexikon. Konstruera denna nya lexikon innebar att undersöka testet uppsättning samt utbildning som att manuellt placera metonymer. Detta gav en noggrannhet på 93 % vid märkning på provsetet och 96 % vid märkning av både tränings- och testset. E-Rater utvecklades av Burstein med flera (Burstein, Kukich, Wolff, Chi, & Chodorow, 1998; Burstein, Leacock, & Swartz, 2001 ). E-Rater använder MsNLP-verktyget för att tolka alla meningar i uppsatsen. E-Rater använder en kombination av statistiska och NLP-tekniker för att extrahera språkliga egenskaper från de essäer som ska graderas. Uppsatser utvärderas mot en referensuppsättning av mänskliga betygssatta essäer. Med E-Rater, en uppsats som håller sig till frågans ämne, har en stark, sammanhängande och välorganiserad argumentstruktur, och visar en mängd olika ordanvändning och syntaktisk struktur kommer att få en poäng i den högre änden av en sexpunktsskala. E-Rater funktioner inkluderar analysen av diskursstrukturen, av den syntaktiska strukturen och av ordförrådet användning (domain analys). E-Rater antar en corpus-baserad metod för modellbyggande genom att använda faktiska essädata för att analysera egenskaperna hos ett urval av essäsvar. Ansökan är utformad för att identifiera funktioner i texten som återspeglar skrivegenskaper som anges i mänskliga läsare scoring kriterier och är för närvarande sammansatt av fem huvudsakliga oberoende moduler. Tre av modulerna identifierar funktioner som kan användas som poängvägledningskriterier för den syntaktiska variationen, organiseringen av idéer och vokabuläranvändningen av en uppsats. En fjärde fristående modul används för att välja och väga prediktiva funktioner för uppsats scoring. Slutligen används den sista modulen för att beräkna slutresultatet. E-Rater är för närvarande inbäddad i Kriteriet en webbaserad realtidsversion av det system som utvecklats av ETS Technologies. Ytterligare en återkopplingskomponent med rådgivningsfunktioner har lagts till i systemet. Rådgivarna är baserade på statistiska mått och är helt oberoende av den poäng som E-Rater genererat, vilket ger ytterligare feedback om skrivkvaliteter relaterade till ämne och fluens. E-Rater är utbildad på en samling av 270 essäer som har gjorts manuellt av utbildade mänskliga taxare. E-Rater är mycket mer komplex och kräver mer träning än många andra tillgängliga system. Dessutom har ingen online-demonstration och ingen nedladdningsbar testversion av E-Rater gjorts tillgänglig för forskarsamhället. PRESTANDA: Över 750000 GMAT-uppsatser har gjorts, med överenskommelser mellan mänskliga experter och system konsekvent över 97%. Genom att jämföra människans och E-Raters kvaliteter med 15 testfrågor varierar de empiriska resultaten från 87 % till 94 %. C-rater är en NLP-baserad prototyp som syftar till att bedöma korta svar relaterade till innehållsbaserade frågor såsom de som kan förekomma i en lärobok kapitel granskning avsnitt (Burstein et al., 2001). Crater antar många av de vissa naturliga språk bearbetning verktyg och tekniker som utvecklats för E-Rater, även om de två systemen skiljer sig på många viktiga sätt. E-Rater tilldelar en poäng för skrivfärdigheter snarare än för specifikt innehåll medan C-rater syftar till att få ett svar som antingen är korrekt eller inkorrekt. Detta mål uppnås genom att utvärdera om ett svar innehåller information om specifika domänbegrepp; om svaret uttrycker dessa begrepp är det klassificerat som korrekt, annars bedöms det som inkorrekt utan hänsyn till skrivfärdigheter. Dessutom ger E-Rater betyg som delvis baseras på den retoriska strukturen i en uppsats medan Crater måste identifiera specifikt innehåll. Den genererar en finkornig analys av de logiska sambanden mellan de syntaktiska komponenterna i varje mening som framträder i svaret. C-rater kräver inte en stor samling graderade svar för utbildning. I stället använder den det enda rätta svaret som finns i en instruktörs guide eller svarsnyckel, eftersom man anser att det är orealistiskt att kräva omfattande datainsamling i syfte att gradera relativt låga insatser frågesporter, särskilt med tanke på att en uppsättning korta frågor ofta ges i slutet av kapitel i en lärobok. PRESTANDA: C-Rater uppnådde över 80 % överenskommelse med den poäng som tilldelats av en instruktör. BETSY är ett program som klassificerar text baserad på utbildat material och utvecklas av Lawrence M. Rudner på College Park of the University of Maryland med medel från den amerikanska utbildningsavdelningen (http://ericae.net/betsy). Enligt Rudner och Liang (2002) är målet med systemet att fastställa den mest sannolika klassificeringen av en uppsats i en fyrapunkts nominell skala (t.ex. omfattande, väsentliga, partiella, otillfredsställande) med hjälp av en stor uppsättning funktioner som omfattar både innehåll och stil specifika frågor. De underliggande modellerna för textklassificering som antagits är Multivariate Bernoulli Model (MBM) och Bernoulli Model (BM). Med MBM varje uppsats betraktas som ett specialfall av alla kalibrerade funktioner, och sannolikheten för varje poäng för en given uppsats beräknas som produkten av sannolikheterna för de funktioner som ingår i uppsatsen. Med BM den villkorliga sannolikheten för närvaro av varje funktion uppskattas av andelen essäer inom varje kategori som innehåller funktionen. Denna modell kan kräva lång tid att beräkna eftersom varje termin i ordförrådet behöver undersökas. Både Bernoulli-modellen och den multivariata Bernoulli-modellen betraktas som naiva Bayes-modeller eftersom de antar villkorligt oberoende. Enligt dess författare BETSY bygger på en strategi som kan införliva de bästa egenskaperna hos PEG, LSA (Landauer, Foltz, & Laham, 1998 ) och E-rater "plus att den har flera avgörande fördelar i sig. Det kan användas på korta uppsatser, är enkelt att genomföra, kan tillämpas på ett brett spektrum av innehållsområden, kan användas för att ge diagnostiska resultat, kan anpassas för att ge klassificering på flera färdigheter, och är lätt att förklara för icke statistiker" (Rudner & Liang, 2002). BETSY är ett Windows-baserat program skrivet i Power Basic, och är beräkningsintensiv. Dessutom är BETSY den enda programvara inom området som ma y är fritt nedladdningsbar och användbar. PRESTANDA: Rudner och Liang (2002) rapporterar om två textklassificeringsmodeller som kalibrerats med 462 essäer med två poäng. De kalibrerade systemen tillämpades sedan på 80 nya prescored essäer, med 40 essäer i varje poänggrupp. En noggrannhet på över 80% uppnåddes med det beskrivna datasetet. IEMS bygger på Mönster Indexing Neural Network (indextron) utvecklat vid NGEE ANN Polytechnic (Ming, Mikhailov, & Kuan, 2000). Systemet kan användas både som bedömningsverktyg och för diagnostik och handledning i många innehållsbaserade ämnen. Studenter kan få omedelbar feedback och kan lära sig var och varför de gjort bra ifrån sig eller inte gjort betyget. På så sätt kan den inbäddas i ett intelligent handledningssystem som hjälper eleverna att skriva bättre genom att snabbt betygsätta uppsatser och ge feedback snabbt. Uppsatsen är baserad på kvalitativ typ av frågor snarare än numerisk typ. Indextron definieras som en specifik klusteriseringsalgoritm. I sig själv är en sådan algoritm inte ett neuralt nätverk. Klusteriseringsalgoritmen kan dock implementeras som ett neuralt nätverk. Indextron-baserade neurala nätverk försöker övervinna en långsam, icke-inkrementell utbildning, som är typisk för traditionella artificiella neurala nätverk. Enligt Ming m.fl. (2000) ett experiment med utvärdering av uppsatser producerade av 85 studenter som gjorde en delkurs i projektrapport Skriva och komma från sex klasser av tredje års maskinteknik, fick en korrelation på 0,8. Automark är ett mjukvarusystem utvecklat i jakten på robust datoriserad märkning av fritext svar på öppna frågor (Mitchell, Russel, Broomhead, & Aldridge 2002). Automark använder NLP-teknik för att markera öppna svar. Denna programvara har varit under utveckling i nästan tre år, och har varit anställd i en kommersiell e-lärande produkt under de senaste månaderna (ExamOnline som nämns i Mitchell et al., 2002). Datorassisted Assessment procedurer baserade på Automark håller för närvarande på att utvecklas vid ett antal högskolor, bland annat Brunel University där ett online Java test för första året ingenjörsstudent är under utveckling. Systemet innehåller ett antal bearbetningsmoduler som särskilt syftar till att ge robust märkning vid fel i stavning, maskinskrivning, syntax och semantik. Automark söker efter specifikt innehåll i fritextsvar, och innehållet specificeras i form av ett antal mallar för märkningsschema. Varje mall representerar en form av ett giltigt eller ett specifikt ogiltigt svar. Utveckling av mallarna i det datoriserade märkningssystemet är en offline-process, som uppnås genom ett skräddarsytt systemkonfigurationsgränssnitt. Representationen av mallarna är tillräckligt robust för att hantera flera varianter av inmatningstexten. Märkningsprocessen går genom ett antal steg. För det första är den inkommande texten förbehandlad för att standardisera inmatningen i termer av interpunktion och stavning. Därefter identifierar en meningsanalysator de viktigaste syntaktiska beståndsdelarna i texten och hur de är relaterade till varandra. Mönstermatchningsmodulen söker efter matchningar mellan mallarna för märkningsschemat och de syntaktiska beståndsdelarna i studenttexten. Slutligen behandlar feedbackmodulen resultatet av mönstermatchningen. Återkoppling ges vanligtvis som ett märke, men mer specifik återkoppling påstås vara möjlig. PRESTANDA: Automark har testats på National Curriculum Assessment of Science för elva år gamla elever. Svarsformen var: enkel ordgenerering, en enda värdegenerering, generering av en kort förklarande mening, beskrivning av ett mönster i data. Den uppnådda korrelationen varierade mellan 93 % och 96 %. SEAR är ett programvarusystem utvecklat av Christie (1999) som ett resultat av hans doktorandarbete. Enligt Christie kräver automatisk examination av essäer en bedömning av både stil och innehåll (i förekommande fall). Systemet ger alltså en expanderbar, flexibel metod för automatisk märkning av essäinnehållet och ger en metod för automatisk märkning av essästilen också. Den metod som används för att bedöma stil är baserad på en uppsättning gemensamma mått, och kräver viss initial kalibrering. I huvudsak är den datorbaserade märkningen av stilen baserad på pre-determinering av vad som skulle vara kandidatmått, använda en delmängd av essäer som träningsset och markera dem manuellt. Därefter inleds en kalibreringsprocess genom att man justerar vikten av varje mått tills man uppnår en godtagbar överenskommelse mellan människa och dator genom att bearbeta hela essäuppsättningen. För innehållsbedömning beaktas endast de essäer som är tekniska kandidater för denna typ av märkning (de leder till ett begränsat spektrum av innehåll). För SÖK innehållet schemat förbereds en gång och revideras ganska snabbt och enkelt. Dessutom krävs varken "utbildning" eller "kalibrering", även om den vanliga metoden att ta ett prov för att verifiera metoden rekommenderas. Schemat hålls som en enkel datastruktur. Två åtgärder har vidtagits för att underlätta den automatiska märkningsprocessen: användning och täckning. Den förra syftade till att mäta hur mycket av varje uppsats som används, medan den senare mäter hur mycket av uppsatsschemat som används i uppsatsen under examination. Båda åtgärderna utformades för att föreställa sig förhållandet mellan varje uppsats och schemat. PRESTANDA: SÖKNING är fortfarande ett pågående arbete. Det finns ännu inga resultatindikatorer. PS-ME är utformad som en integrerad komponent i ett webbaserat Learning Management System (Mason & Grove-Stephenson, 2002) och är fortfarande under utveckling. PS-ME betygsätter inte essäer i realtid på grund av sina bearbetningskrav. Detta system tillämpar NLP-teknik för att bedöma studentuppsatser för att avslöja deras nivå av konkurrens när det gäller kunskap, förståelse och utvärdering. Studentuppsatsen lämnas in till servern, tillsammans med information om uppgiften för att identifiera korrekt mastertexter för jämförelse. Varje uppgift definieras genom ett antal huvudtexter som är relevanta för den fråga som ska besvaras. En intressant fråga är förekomsten av "negativa" mastertexter som innehåller en uppsättning falska påståenden som består av typiska studentmisstag och missuppfattningar. Den uppsats som ska betygsättas jämförs mot varje relevant mastertext för att härleda ett antal parametrar som återspeglar den kunskap och förståelse som visas av studenten. Förmågan att utvärdera parametern beräknas genom en språklig analys enligt beskrivningen ovan. När flera mastertexter är involverade i jämförelsen, får varje resultat från en individuell jämförelse en viktning, vilket kan vara negativt när det gäller en mastertext som innehåller vanliga missuppfattningar. Vikterna härleds under den inledande träningsfasen. De individuella parametrar som beräknas under analysfasen kombineras sedan i ett numeriskt uttryck för att ge uppdragets betyg (vanligtvis en nationell kursplan eller en GCSE-nivå). Parametrarna används också för att välja ut specifika kommentarer från en kommentarbank som är relevant för uppgiften. Med ett finkornigt upplägg är det möjligt att ge studenten formativ feedback om hans/hennes perOverview of Current Research on Automated Essay Grading 326 formance inom olika områden inom ett givet ämne. Utmatningen från märkningsprocessen skickas sedan tillbaka till kunden för presentation till läraren. Detta inkluderar detaljer om avsnitt i uppsatsen som är särskilt bra eller dåligt i förhållande till kunskap, förståelse och utvärderingsfaktorer. Processen för att ställa in automarkören för en viss uppgift är mycket enkel: välj huvudtext, från ett antal källor såsom läroböcker, uppslagsverk eller relevanta webbplatser (systemet är mycket tolerant mot dubblering av innehåll mellan huvudtexter, men kan förlora noggrannhet om huvudtexterna använder extremt komplex grammatik); har ett prov handmärkt (kan vara så få som 30, detta måste göras en gång per uppgift, för att härleda rätt viktningar för parametervärden som beräknas av märkningssystemet); kör samma prov genom markören och utför regressionsanalys, som försöker få en bäst passform mellan de betyg som ges av markören och de som följer av kombinationen av parametrarna; ladda upp de resulterande data till servern. PRESTANDA: PS-ME är fortfarande ett pågående arbete. Det finns alltså ännu inga resultatindikatorer.
Ansökningar inkluderar uppsats gradering för standardiserade tester såsom för GMAT (Graduate Management Admission Test) eller TOEFL (Test of English as Foreign Language) REF.
An Overview of Current Research on Automated Essay Grading
{'venue': 'JITE', 'journal': 'JITE', 'mag_field_of_study': ['Computer Science']}