Sammanfattning På grund av betydande vetenskapliga och praktiska framsteg kan inlärningstekniken på ett effektivt sätt anpassa sig till studenternas egenskaper och behov. I den här artikeln behandlas hur inlärningsteknik kan anpassas med tiden genom crowdsourcing bidrag från lärare och studenter - förklaringar, feedback och andra pedagogiska interaktioner. Med tanke på sammanhanget med ASSISTments, en online-lärplattform, förklarar vi hur interaktiva matematikövningar kan ge det arbetsflöde som krävs för att få feedbackbidrag och utvärdera dessa bidrag, genom att helt enkelt ta del av lärarnas och elevernas dagliga systemanvändning. Vi diskuterar en serie randomiserade kontrollerade experiment som för närvarande körs inom ASSISTments, med målet Int J Artif Intell Educ (2016) att etablera bevis på att studenter och lärare kan fungera som värdefulla resurser för att ständigt förbättra adaptiv inlärningsteknik. Vi överväger också hur lärare och elever kan motiveras att ge sådana bidrag, och diskutera planerna kring PeerASSIST, en infrastruktur som kommer att hjälpa ASSISTments att utnyttja kraften i publiken. Algoritmer från maskininlärning (dvs. multi-armade banditer) kommer helst att ge en mekanism för ledningskontroll, vilket möjliggör automatisk utvärdering av bidrag och personlig tillhandahållande av högsta kvalitet innehåll. På många sätt kommer de kommande 25 åren av adaptiv inlärningsteknik att drivas av publiken, och den här artikeln fungerar som den färdplan som ASSISTments har valt att följa. Nyckelord Crowdsourcing. Lärarnaourcing. Återkoppling. Lärandevinster. Online inlärningsplattform. Anpassningsbar inlärningsteknik. ASSISTIER För denna speciella fråga, ombads vi att förutsäga element som skulle driva de kommande 25 åren av AIED-forskning. Clairvoyance är svårt, om inte omöjligt, och om vi skulle förse läsarna med definitiva strategier för att vägleda nästa kvarts sekel av forskning, skulle vi förmodligen föreslå mycket fler Bmisses^than Bhits.^I stället använder vi detta arbete för att undersöka de blygsamma steg som ASSISTments, en populär online lärplattform, kommer att ta för att tillgodose frågor av växande betydelse. Under de kommande 25 åren är det vår förhoppning att adaptiv inlärningsteknik kommer att utöka stödet för bästa praxis i K-12-inlärning genom rigorösa experiment för att identifiera och genomföra personliga utbildningsinsatser i autentiska inlärningsmiljöer. Vi förväntar oss att även om big data kommer att användas för att förbättra dessa plattformar (dvs. genom utbildning data mining och lärande analytics), innovationer på detta område kommer att begränsas av pedagogik och av finkornigt, personligt stöd för alla elever. Men det kommer ändå att krävas tillväxt grundad på bästa praxis för att hindra fältet från att stagnera. I den här artikeln behandlas särskilt hur förbättringar för ett ständigt växande utbildningsekosystem kan eftersträvas dynamiskt och i stor skala genom crowdsourcing (Kittur et al. 2013; Howe 2006). Vi ger en kort bakgrund om crowdsourcing, notera de frågor som är inneboende i konceptet, och nyheten med dess användning inom utbildningsområden. Vi följer denna diskussion med en detaljerad beskrivning av ASSISTments-plattformen och dess återkopplingskapacitet i deras nuvarande form. Vi belyser sedan ett antal randomiserade kontrollerade experiment som har kört eller för närvarande körs inom ASSISTments som beskriver de steg som ASSISTments laget tar för att genomföra crowdsourcing inom plattformen. Vi anser att andra i AIED samhället bör överväga liknande arbete under de kommande åren. Vi beskriver sedan den process genom vilken ASSISTments planerar att genomföra crowdsourcing, genom en infrastruktur som vi kallar PeerASSIST. Vi förklarar hur crowdsourced feedback bidrag kommer att samlas in och hur plattformen kommer att använda sekventiell design som en ledningskontroll för att isolera och leverera högkvalitativa bidrag till andra elever. Vi avslutar vår diskussion genom att koppla vårt arbete inom ASSISTments till allmänna konsekvenser för AIED samhället och de kommande 25 årens forskning. 616 Int J Artif Intell Educ (2016) 26:615-644 Den senaste forskningen har visat att stora förbättringar av adaptiv inlärningsteknik kan åstadkommas genom en mängd småskaliga, organiska bidrag från distribuerade populationer av lärare och studenter. Användare av dessa plattformar får innehåll via online och blandade utbildningssystem och tillhandahåller i gengäld data om lärande och interaktioner (dvs. loggfiler). Det skulle vara relativt enkelt att införliva mer detaljerade användarbidrag i form av lösningsförklaringar eller "arbete" som pedagogiska innovationer som ligger till grund för systemförändringar (Howe 2006; Von Ahn 2009). När man tänker på de kommande 25 åren av AIED, särskilt i skala, säkerhet kommer att vara i antal, och ASSISTENTS kommer att följa publiken. Omfattande diskussioner om utmaningen att tydligt definiera crowdsourcing (Estellés-Arolas och González-Ladrón-de-Guevara 2012). I den här artikeln använder vi termen crowdsourcing för att kontrastera erhålla läroplan eller delar av innehåll som utformats av en enda expert (eller ett litet team av experter) (Porcello och Hsi 2013) med att få bidrag från många människor, som tenderar att inte bli restriktivt granskade eller utvalda, och vars ansträngningar är frivilliga. Det finns enorma bevis för kraften i crowdsourcing i människa-datorinteraktion forskning (Doan et al. 2011; Howe 2006; Kittur et al. 2013), med nyligen utfört arbete som omfattas av många publikationer på platser som HCOMP (Conference on Human Computation and Crowdsourcing), CSCW (Computer Supported Cooperative Work and Social Computing), CHI (ComputerHuman Interaction) och Collective Intelligence (se även Malone och Bernstein 2015). Trots den ökande populariteten för crowdsourcing har adaptiva inlärningsmiljöer inte utnyttjat strategin som en livskraftig ram för framgång. För att inte förväxlas med folkmassornas Bwisdom, eller antagandet att helheten är större än summan av dess delar (Surowiecki 2004), kräver crowdsourcing inte nödvändigtvis en Bwise^crowd, eller en med kognitiv mångfald, oberoende, decentralisering, och aggregering, som beskrivs av ramen som Surowiecki (2004). Många fall av crowdsourcing har visat sig framgångsrika utan crowd medlems oberoende eller aggregering av åsikter (Saxton et al. 2013)................................................................. Därav följer att alla skaror, även de som består av nybörjare snarare än domänexperter, kan tjäna som en användbar resurs. Genom att köpa innehåll bidrag från användare inom adaptiva lärplattformar, är det möjligt att utöka bredden och mångfalden av tillgängligt material utöver det som föds av bara några designers, stödja personalisering av online utbildningsinnehåll (Organisciak et al. Europaparlamentets och rådets förordning (EU) nr 182/2011 av den 16 februari 2011 om fastställande av allmänna regler och principer för medlemsstaternas kontroll av kommissionens utövande av sina genomförandebefogenheter (EUT L 55, 28.2.2011, s. 2012)................................................................. I stället för att utforma en teoretisk ram för ett sunt genomförande av crowdsourcing över plattformar eller i olika scenarier (se Saxton et al. (2013) för en metaanalys som exemplifierar strukturerade crowdsourcing-modeller, fokuserar vi främst på logistik och frågor kring att outsourca innehållsskapande till aktiva användare av en adaptiv inlärningsplattform. Förutom den akademiska litteraturen i människa-datorinteraktion, många välkända webbplatser och Web 2.0-tjänster (dvs. Facebook, Flicker) omfattar crowdsourcing aktiviteter. Den kanske mest framträdande framgångssagan som bygger på crowdsourcing-metoden är Wikipedia, det kostnadsfria onlineuppslagsverket som förlitar sig på crowdsourcing till författare och redigera innehåll. Wikipedia har överträffat kapaciteten hos tidigare elektroniska Int J Artif Intell Educ (2016) (Retelny et al. 2014), de fokuserade på medborgarmedieproduktion (dvs. YouTube, Reddit), och de fokuserade på samarbetsprojekt som digitalisering och översättning av böcker och adresser, och bildidentifiering i skala (Griswold 2014). Sådana crowdsourcing aktiviteter samverkar också med diskussioner kring BBig Data^ och BData Science^ (Meyika et al. 2011; Boyd och Crawford 2012) som nya typer av data och analyser framträder som sociala nätverksinteraktioner (Tan et al. 2013) och crowdsourcing beteenden (Franklin et al. 2011 ) växer i popularitet. Även om de tidigare exemplen erbjuder kraftfulla och övertygande användningsområden för crowdsourcing, står konceptet fortfarande inför utmaningar på utbildningsområdet. Frågor som uppstår inom utbildningsområden, inklusive ledningskontroll, eller hur man kan utvärdera och genomdriva högkvalitativa användarbidrag, fortsätter att plåga crowdsourcing system inom andra områden (Saxton et al. 2013)................................................................. Stack Overflow kan till exempel inte utåt mäta vilka svar som har större effekt på läranderesultaten. Även om användarna kan anta att mycket Bupvosed^content är den mest tillförlitliga, finns det inget kvalitativt sätt att undersöka användare efter att ha läst varje svar för att avgöra skillnader i inlärningsvinster. På samma sätt, öppna författarskap på Bwikis^tillåter användare att leverera felaktigt innehåll eller att förstöra korrekt innehåll genom skadliga redigeringar. Utan en principiell strategi för att utvärdera kvaliteten på bidrag bortom användarnas uppfattning, möter Wikipedia skepsis från dem i utbildning om tillförlitligheten och sannfärdigheten i dess innehåll. Trots bristen på dess användning inom utbildningsområden, crowdsourcing håller stort löfte om framtiden för adaptiv utbildning, med få betydande hinder (Williams (Floryan och Woolf 2013; Aleahmad et al. 2008)............................................................... Men majoriteten av adaptiv inlärningsteknik som erbjuder personlig undervisning saknar den infrastruktur som krävs för att få tillräckliga bidrag från publiken och för att sedan returnera anpassad undervisning för att matcha elevernas behov. Till exempel, för att lösa ett problem som kräver att eleverna lägger till bråk med till skillnad från nämnare, adaptiva inlärningssystem ger vanligtvis byggnadsställningar undervisning som går studenten genom att hitta en gemensam nämnare, skapa likvärdiga bråk, och sedan lägga till bråk. I de gemensamma grundläggande statsnormerna (NGACBP och CCSSO 2010) betonas dock flera metoder för problemlösning, ofta med varierande komplexitet. Till exempel, en student kan använda en manipulativ, såsom fraktioner av en cirkel, för att hitta likvärdiga bråk och sedan utföra tillägget. En annan student kan ta ett mer sofistikerat tillvägagångssätt genom att lista alla likvärdiga bråk för varje bråk för att hitta en gemensam nämnare. En tredje student kan istället använda en algoritm för att hitta den minst gemensamma multipeln och genomföra tillägget med hjälp av denna som nämnare. Ett adaptivt inlärningssystem som hjälper en student med detta problem bör känna till alla potentiella tillvägagångssätt, veta vilket tillvägagångssätt som är mest lämpligt med tanke på studentens åtgärder, och ge den assistans som kommer att optimera nyttan för varje student. Det är här tanken på att implementera crowdsourced innehåll eller feedback i ett utbildningssammanhang kan växa mycket nödvändigt. En enda lärare kanske inte är den mest lämpliga när det gäller att förklara alla ämnen för alla elever. Om det finns flera tillvägagångssätt för att lösa ett problem, och läraren konsekvent undervisar bara ett enda tillvägagångssätt eller metod, kan eleverna misslyckas med att förstå vad de kanske annars skulle förstå när de undervisas med ett annat tillvägagångssätt (Ma 1999). Crowdsourcing feedback material från lärare skulle möjliggöra en expansiv i sannolikheten att eleverna kommer att lära sig av en effektiv lärare, eller möjligen från en effektiv kombination av lärare (Weld et al. 2012)................................................................. Vissa plattformar i AIED-gemenskapen har redan börjat överväga crowdsourcing, och ett antal forskare i samhället har visat intresse för ämnet. Ett akademiskt samarbete har parat ihop professor Kong på Worcester Polytechnic Institute med Yahoo Answers för att göra framsteg i att bättre förutsäga kvaliteten på frågor, hjälpsamheten av svar, och expertisen hos användare (Zhang et al. 2014)................................................................. Få adaptiva inlärningstekniker har dock övervägt detta tillvägagångssätt, och kanske ännu färre har övervägt crowdsourcing-innehåll från elever. En alternativ metod: BLearnersourcing en raddsourcing feedback behöver inte nödvändigtvis stanna vid lärare, eller de som anses domän experter. Vi tror att studenterna kan ge högkvalitativa exempel på sin lösningsväg för ett problem, eller i huvudsak Bshow sitt arbete.^Inte bara kan processen att förklara sina handlingar bidra till att stärka sin förståelse av innehållet, men den feedback de ger kan i sin tur kopplas till problemet till nytta för framtida studenter (Kulkarni et al. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Studentanvändare som spänner över klassrum runt om i världen erbjuder en mängd information; de kan ge mångsidiga förklaringar som skulle göra det möjligt för systemet att införliva alla potentiella metoder för att lösa ett Int J Artif Intell Educ (2016) 26:615-644 619 särskilda problem. För närvarande i de flesta adaptiva inlärningssystem, när en student begär feedback i form av en antydan eller ställning, endast en enda metod tillhandahålls. Crowdsourcing student förklaringar har potential att utöka kapaciteten hos dessa system för att ge flera, granskade strategier till rätt studenter vid rätt tidpunkt. Engagera sig i Blearnersourcing^(en term myntad av Juho Kim och CSAIL-teamet på MIT, se Kim (2015) ) kan också vara till nytta för studenter, om pedagogiskt användbara aktiviteter som uppmaningar till självförklarande används för att framkalla studiebidrag (Williams och Lombrozo 2010). En typ av arbete har haft inlärare organiskt generera konturer för videor, genom att uppmana dem att svara på frågor som BVad var det avsnitt du just tittat på?^, med dessa svar granskas av andra inlärare, och med hjälp av den resulterande informationen för att dynamiskt bygga en interaktiv kontur som kan levereras tillsammans med videon (Weir et al. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Weir m.fl. (2015) visade att denna typ av arbetsflöde för inlärning skulle kunna ta fram översikter för videor som lägger ut delmål för lärande på ett sätt som är oskiljaktigt från konturer som mödosamt produceras av experter. Vi använder termen Blearnersourcing^ i det nuvarande arbetet helt enkelt för att beteckna publiken som består av studenter användare av en online-lärplattform. I teorin kan crowdsourcing spela en integrerad roll i framtiden för adaptiv inlärning. Frågorna kring den faktiska praxisen med crowdsourcing feedback inom adaptiv inlärningsteknik är dock komplexa. Vilken typ av system måste finnas för att crowdsourcing ska vara enkelt och naturligt för användarna? Efter att ha samlat in en mängd olika återkopplingsmetoder för ett visst problem, hur bör systemet gå tillväga att ge korrekt feedback till rätt elever vid rätt tidpunkt? Vi betraktar dessa frågor, såväl som andra, när vi diskuterar den avsedda framtiden för att utnyttja folkmassan inom ASSISTments. Även om crowdsourcing har erbjudit lösningar för uppgifter som sträcker sig från enkla till komplexa, och även om tekniken säkert kommer att fortsätta att visa sig effektiv rör sig in i framtiden, kan man hävda att användningen av crowdsourcing (särskilt inlärning) inom adaptiv inlärningsteknik kan medföra ett antal risker. Genom en metaanalys av 103 webbplatser som genomför någon form av crowdsourcing, Saxton et al. (2013) upprättade en omfattande taxonomi för att vägleda ramverket för crowdsourced designs. Den strategi för crowdsourcing som kommer att vägleda framtiden för forskning inom ASSISTments faller in i deras kunskapsbas för att bygga modellramar. Med tanke på författarens sammanfattning av denna typ av modell, Binformation-eller kunskapsgenerering processer utkontrakteras till samhällsanvändare, och olika typer av stimulansåtgärder och kvalitetskontrollmekanismer används för att framkalla kvalitet kunskap och information som kan vara latenta i den virtuella publikens "hjärna"^ (Saxton et al. 2013)................................................................. I grund och botten, feedback skapande skulle kunna läggas ut på studenter användare och kan stimuleras genom en graderingsgrund, med innehåll kvalitet hanteras av algoritmer som främjar den efterföljande presentationen av förklaringar som producerar den största lärande. Saxton m.fl. (2013) föreslår tre primära frågor när det gäller crowdsourcing: 1) det BWhat^som läggs ut på entreprenad, 2) det samarbete som krävs av publiken, och 3) ledningens kontroll över kvaliteten på crowd-baserade bidrag. Vid outsourcing av innehåll till lärare hämtar vi data från (mer eller mindre) domänexperter. 620 Int J Artif Intell Educ (2016) 26:61-5-644 När vi förgrenar oss till inlärarkurser tar vi emot bidrag från Bexperts-in-training.^Vi hävdar dock att inlärning är acceptabelt inom adaptiv inlärningsteknik om den hanteras på rätt sätt; vi har minskat komplexiteten i den aktuella uppgiften genom att ommärka återkopplingsskapandet som Bself-explanation.^Komplexiteten i att tillhandahålla självförklaringar för lösningar på probleminnehåll kan variera drastiskt i förhållande till innehållet i fråga. I matematiken kan det till exempel vara mycket mindre komplicerat att be en elev förklara hur han eller hon löste ett problem inom omkretsen än att be en elev förklara hur han eller hon löste en logaritmisk funktion. Eftersom dessa lösningar hämtas från eleven, eller en B-expert i utbildning, ^det blir svårare att samla in korrekt och högkvalitativt innehåll. Crowd-samarbetet kan bidra till att minska en del av denna risk samtidigt som man upprättar ett ramverk för ledningskontroll. Att utarbeta en omröstningsmetod för det starkaste innehållet skulle möjliggöra samarbete mellan folkmassorna, men kan leda till sociala konflikter i klassrummen om återkopplingen inte samlas in anonymt (dvs. möjligheten för Bdownvotes^ till högkvalitativt innehåll som en form av mobbning eller social dominans). Som Saxton et al. (2013) Observera att inte alla crowdsourcing-system kräver samarbete som en del av en framgångsrik modell, och som sådan anser vi att det är möjligt att etablera inlärartjänster som inte nödvändigtvis är beroende av publikens samverkanseffekter. Innehållskontroll inom inlärartjänster är lätt den svåraste frågan att ta itu med, och ledningskontroll har ansetts vara en av de större utmaningarna med crowdsourcing i allmänhet (Howe 2006; Howe 2008; McAfee 2006). I detta arbete diskuterar vi en enda metod för att implementera crowdsourcing inom en online-lärplattform. Vi föreslår inte att ASSISTments är den enda plattform som kan lärarutbildning, inte heller föreslår vi att vi har hittat den idealiska ramen för genomförande i andra adaptiva inlärningstekniker. Den ram som vi lägger fram kan eller kanske inte vara allmängiltig för andra plattformar. Men vi beskriver de steg som vårt team kommer att ta under de kommande åren (observera att en stor del av detta arbete ännu inte är underbyggt) i hopp om att AIED samhället kommer att överväga crowdsourcing och de relaterade frågorna som drivkrafter för forskning om effekterna av feedback inom adaptiv inlärningsteknik under nästa kvarts sekel. I återstoden av denna artikel diskuterar vi hur vi hoppas kunna utöka ASSISTments-plattformen för att möjliggöra storskaliga förbättringar genom crowdsourcing från lärare och studenter. ASSISTments är en online-lärplattform som erbjuds som en gratis tjänst av Worcester Polytechnic Institute. Plattformen fungerar som ett kraftfullt verktyg för att ge eleverna hjälp och samtidigt erbjuda lärare bedömning. ASSISTment används för närvarande av hundratals lärare och över 50 000 elever runt om i världen med över 10 miljoner problem lösta förra året. Utgångspunkten för ASSISTments är enkel: tillåta datorer att göra det som datorer gör bäst samtidigt som de befriar lärare att göra det lärare gör bäst. I ASSISTments kan lärare ställa frågor att tilldela sina elever, eller välja innehåll från öppna bibliotek av förbyggt material. Medan majoriteten av dessa bibliotek tillhandahåller certifierat matematikinnehåll, växer systemet ständigt med avseende på andra domäner (dvs. kemi, elektronik), och lärare och forskare kan skriva innehåll i alla domäner. Int J Artif Intell Educ (2016) 26:615-644 621 ASSISTments plattformen driver framtiden för adaptiv inlärning på några unika sätt. Den första är plattformens förmåga att bedriva sund pedagogisk forskning i skala på ett effektivt, etiskt och till en låg kostnad. ASSISTments specialiserar sig på att hjälpa forskare köra praktiska, minimalt invasiva randomiserade kontrollerade experiment med hjälp av studentnivå randomisering. Plattformen har gjort det möjligt att publicera över 18 artiklar om lärande sedan starten 2002 (Heffernan och Heffernan 2014). Medan andra system ger många av samma klassrum fördelar som ASSISTments, få förtjänar en infrastruktur som också gör det möjligt för pedagogiska forskare att utforma och genomföra innehållsbaserade experiment utan en omfattande kunskap om datorprogrammering eller andra specialiserade färdigheter med en lika brant inlärningskurva. Den senaste tidens NSF-finansiering har gjort det möjligt för forskare runt om i landet att utforma och genomföra studier inom systemet, vilket har fört plattformen mot acceptans som ett gemensamt vetenskapligt instrument för pedagogisk forskning. Genom att formulera de specifika utmaningarna för att förbättra K-12 matematik utbildning till en bred och tvärvetenskaplig gemenskap av psykologi, utbildning och datavetenskap forskare, ledare som spänner över dessa områden kan samarbeta och konkurrenskraftigt föreslå och genomföra experiment inom ASSISTments. Detta arbete kan ske på en aldrig tidigare skådad exakt nivå och stor skala, vilket möjliggör utformning och utvärdering av olika undervisningsstrategier och rik mätning av studentläranderesultat i realtid, till en bråkdel av den kostnad, tid och ansträngning som tidigare krävdes inom K-12-forskningen. Samtidigt som det leder till framsteg inom området genom peer-reviewed publicering, ökar detta samarbete samtidigt innehåll och infrastruktur, vilket förbättrar systemet för lärare och studenter. Tidigare arbete har på ett träffande sätt beskrivit återkoppling som B-information som tillhandahålls av en agent (t.ex. lärare, kamrat, bok, förälder, själv, erfarenhet) om aspekter av ens prestation eller förståelse^(Hattie och Timperley 2007). Studenter kan få en av många typer av feedback inom ett ASSISTments uppdrag, beroende på inställningar valda av innehållsdesignern (dvs. en lärare eller forskare). Den mest grundläggande formen av stöd är korrekt feedback; studenterna informeras om de är korrekta eller felaktiga när de svarar på varje fråga (denna funktion kan stängas av genom att ställa frågor i 'test' läge vid behov). När mer utförlig feedback önskas, kan frågor omfatta felmeddelanden som skapats av innehållsförfattaren, eller hämtats från lärare och klasser som har isolerat vanliga felaktiga svar.^Dessa meddelanden levereras automatiskt till en student som svar på särskilda misstag, som visas i Bild. 1................................................................ Dessutom kan utförlig feedback komma i form av on-demand tips som måste begäras av studenten och presenteras sekventiellt (dvs, studenter kan se alternativet BShow tips 1 av 3^). Tips presenteras vanligtvis med ökande specificitet innan du presenterar den studerande med rätt svar (The BBottom Out Hint^), så att den studerande kan gå vidare till nästa problem i uppgiften i stället för att fastna på obestämd tid. Alternativt erbjuder ASSISTments en form av detaljerad feedback som vanligtvis används för att presentera fungerande exempel, eller för att bryta ner ett problem i mindre, mer lösbara delsteg. Denna typ av feedback kallas ställning, och presenteras när studenten gör ett felaktigt svar eller begär att problemet delas upp i steg. En jämförelse av tips feedback och byggnadsställningar presenteras i bild. 2............................................................... En metaanalys av 40 studier om postbaserad feedback inom datorbaserade inlärningsmiljöer föreslog nyligen att utarbetad feedback, eller att förse en student med information utöver exaktheten i hans eller hennes svar, är till stor hjälp för studentinlärning, rapportering av totala effektstorlekar på 0,49 (Van der Kleij et al. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. För att rota denna teori i ASSISTments terminologi, utvecklade feedback skulle omfatta felmeddelanden, tips och ställningar, men inte korrekt återkoppling. Det är också troligt att de tre typerna av utvecklad feedback inom ASSISTments ger eleverna olika inlärningsfördelar, eftersom de fungerar olika när det gäller timing och innehållsspecifikitet. Van der Kleij m.fl."s (2015) undersökning av tre tidigare metaanalyser visade en lucka i feedback litteratur: även om återkoppling har visat sig positivt påverka lärande, inte alla återkoppling ger samma effekt. Som sådan är det möjligt att tillhandahålla den fungerande lösningen för ett problem är mer fördelaktigt för eleverna än att ge mindre specifika tips. När man överväger inläraresourcing bör den typ av feedback som samlas in från en student, liksom dess kvalitet, beaktas som moderering av det efterföljande lärandet hos andra studenter som får det innehållet. Bilda. 1 Ett exempel på ett felmeddelande. Denna typ av feedback svarar med skräddarsydd information som anger exakt var studenten gjorde ett misstag. Om studenten inte kan komma fram till rätt svar med denna vägledning, finns även standardtips tillgängliga (se BVisa tips 1 av 3^-knappen). De steg som visas spårar genom studentens troliga lösningsväg för att isolera och korrigera missförståndet. I detta exempel var studenten på rätt spår med steg 1 och 2, men felaktigt hänfört det negativa tecknet till sin lösning Int J Artif Intell Educ (2016) 26:615-644 623 Figur 3 skildrar en väletablerad modell av lärande från återkoppling, som föreslagits av Bangert-Drowns et al. (1991)................................................................. Inom denna modell börjar studenterna vid ett initialt kunskapstillstånd (den streckade cirkeln), och när de presenteras med en fråga, öva den informationshämtning som krävs för att bilda ett svar. Studenten får därefter feedback om sitt svar som han eller hon kan använda för att utvärdera sitt svar och justera sina kunskaper i enlighet därmed. Denna process är iterativ med varje fråga, börjar igen vid studentens justerade kunskapstillstånd (den streckade cirkeln). Denna modell är värd att uppmärksammas när man utformar adaptiv inlärningsteknik eftersom den typ av feedback som ges efter varje punkt kommer att påverka inlärningsprocessen avsevärt. Vi presenterar denna modell eftersom den ytterligare belyser risken för att få feedback från inlärare. Om ett inlärt bidrag är felaktigt, eller av extremt låg kvalitet, ska bidraget inte presenteras för andra studenter som feedback. Det är viktigt att de inlärda bidragen endast visas som trovärdig återkoppling när det är tydligt att de ger mätbara vinster i studenternas kunskapsstat. Senare i denna artikel föreslår vi att det är möjligt att fastställa effektiviteten av inlärda bidrag genom randomiserade kontrollerade experiment och användning av sekventiell design. Bilda. 2 En jämförelse av Hints och en Scaffold inom ett identiskt problem. Observera att tre tips visas till vänster, enligt studentens önskemål. Till höger gav studenten ett felaktigt svar och fick automatiskt en ställning med ett fungerande exempel på hur man löser ett liknande problem. Om studenten inte kan svara på detta delsteg kan de välja att få svaret avslöjat och gå vidare till nästa del av huvudproblemet, presenteras som en andra ställning 624 Int J Artif Intell Educ (2016) 26:61-5-644 Medan studenter som använder ASSISTments dra nytta av den ovan nämnda utarbetade feedback, lärare dra nytta av en mängd olika handlingsbara rapporter om elevernas framsteg. Ett exempel på en punktrapport, den oftast använda rapporten inom ASSISTments, visas i bild. 4........................................... Denna rapport har en kolumn för varje problem (dvs. Bitem^) och en rad för varje student, tillsammans med kvantitativ dataspårning student och klass prestanda. Den första svar loggas av varje student ges för varje problem, och lärare kan övervaka feedback användning och inlämningstider. Lärarna använder ofta artikeln Bild. 3 Modell av lärande från feedback som föreslagits av Bangert-Drowns et al. (1991)................................................................. Eleverna börjar i ett initialt kunskapstillstånd (deshed Circle). När ett objekt presenteras, sker informationshämtning och studenten bildar ett svar. Genom feedback utvärderar studenten sitt svar och anpassar sina kunskaper därefter. Processen börjar på nytt vid studentens justerade kunskapsstat Bild. 4 En artikelrapport som visar de tre första problemen och de tre första eleverna från en större klass och uppdrag. Varje kolumn representerar ett problem och varje rad representerar en elev. Varje post har en procent rätt, och i förekommande fall, ett vanligt felaktigt svar. I studentraden rapporteras studenternas genomsnitt och första försök för varje problem. Till exempel svarade den andra eleven fel på det första problemet (han eller hon sa 1/9^10) och det andra och tredje problemet korrekt på det första försöket. Slutligen ger B+feedback^link läraren möjlighet att skriva ett felmeddelande för det vanliga felaktiga svaret som visas Int J Artif Intell Educ (2016) 26:615-644 625 rapport i klassrummet som ett lärande stöd eftersom det ger användbara data. Rapporten kan anonymiseras, som visas i bild. 4, som randomiserar studenternas ordning och döljer studentnamn för omdömesfri användning i klassen. Denna rapport gör det möjligt för instruktörer att fastställa vilka elever som kämpar och vilka problem som behöver mest uppmärksamhet under värdefull klasstid. De vanliga felaktiga svar som presenteras i denna rapport är särskilt viktiga när det gäller att hjälpa instruktörer att diagnostisera elevernas missuppfattningar. De visas i tredje raden i tabellen i bild. 4........................................... Av denna typ av rapport kan lärare och studenter se andelen elever som svarade på problemet med ett visst felaktigt svar (vanliga felaktiga svar är de som minst tre studenter gjorde om företrädare för mer än 10 % av eleverna i klassen). På bild. 4, endast 27 % av eleverna svarade på det första problemet korrekt, vilket 73 % svarar felaktigt. Ungefär hälften av de elever som hade ett felaktigt svar delade en vanlig missuppfattning och svarade 1/9^10. Detta problem tycks vara värt att diskutera i klassen. Det finns också en B+feedback^länk tillgänglig för lärare att skriva ett misstag budskap för studenter som försöker detta problem i framtiden, skräddarsy feedback baserat på missuppfattningen visas. Många lärare arbetar genom denna process med sina elever, hjälper dem att lära sig varför missuppfattningen är felaktig och hur man förklarar felet för en annan elev. Denna praxis får oss att tro att det är möjligt att få feedback från inlärare inom system som ASSISTments. Fördelarna med denna typ av inlärning skulle vara både omedelbara (dvs. eleverna lär sig att förklara sitt arbete och identifiera missuppfattningar) och långvariga (dvs. studenter som försöker detta problem i framtiden kan få detaljerad feedback som riktar sig till deras missuppfattningar). Inom ASSISTments och i många liknande adaptiva lärplattformar står innehåll och feedback inför en digital utveckling. Den senaste tidens utbredda tillgång till video har gått i spetsen för en mängd spännande innovationer i undervisningen. Projekt som MOOCs (Massive Online Open Courses) och MIT:s OpenCourseWareTM har exponerat eleverna för didaktiska utbildningsvideor i stor skala. Videoföreläsningar kan skapas av de bästa föreläsarna runt om i världen och ges till vem som helst, så att professorer som en gång var en kraftfull resurs för en begränsad publik att nu påverka någon villig inlärare. Dessa föreläsningar kan nå mycket avlägsna delar av världen och kan nås av dem som annars aldrig skulle ha möjlighet att delta i ett universitet i världsklass. Den universella kraften i videoföreläsningen tyder på att det finns en Btime för att berätta^ (Schwartz och Bransford 1998), och att ivriga inlärare kan använda teknik för att få tillgång till kunskap av experter och förstå huvuddelen av historien. Många elever behöver dock mer än bara en berättelse; eleverna behöver ofta förstärkning och stöd medan de övar på det de har lärt sig. Vi förespråkar användning av video bortom föreläsningar och in i sfären av korta handledningsstrategier som föreläsning är bara en liten del av en instruktörs jobb som kan fångas på video. Genom att enbart fokusera på föreläsningar går tusentals elever miste om unika förklaringar och extra hjälp som kan ges genom individuellt skräddarsydd handledning. De största lärarna använder en stor del av sin tid till att skräddarsy undervisningen efter en kämpande elevs individuella behov. Adaptiv inlärningsteknik måste ta hänsyn till problemet med 626 Int J Artif Intell Educ (2016) 26:615-644 fånga och leverera dessa just-in-time stöd för elever som arbetar i klass och hemma, och vi hävdar att videor erbjuder en utgångspunkt. När ASSISTment först började, alla handledningsstrategier presenterades med hjälp av rik text. Med innehållsförfattare och studentanvändare som får mer allmän tillgång till video, både i klassrummet och hemma, har ASSISTments nyligen upplevt en ökning av volymen video förklaringar. Den senaste tidens tekniska framsteg har gjort det enkelt för nästan vem som helst att skapa och få tillgång till video som stöd för lärande. Plattformen har svarat genom att göra det lättare för användare att skapa videor samtidigt som de arbetar inom särskilda problem. ASSISTments iPad-applikationen har nyligen uppgraderats till att innehålla en inbyggd funktion som gör det möjligt för användare att spela in Khan Academy stil Bpencasts^ (en visuell genomgång av problemet med en röst över förklaring) medan de arbetar inom ett problem. Inom en snar framtid kommer appen att tillåta att dessa inspelningar laddas upp till YouTube och lagras i vår databas som en specifik handledningsstrategi för detta problem. Även om detta länkningssystem fortfarande är under utveckling, ökar användningen av video inom ASSISTments redan genom mer traditionella metoder för insamling och spridning av video. Lärare har börjat spela in sina förklaringar, antingen i form av en pencast eller genom att spela in sig själva genom att arbeta igenom ett problem på en whiteboard, ladda upp innehållet till en videoserver och länka innehållet till problem eller feedback som de har skrivit. Under det gångna året har ASSISTments bevittnat användningen av videor som detaljerade förklaringar (dvs. tips, ställningar), som felmeddelanden till vanliga felaktiga svar, och även för undervisning som en del av problemkroppen. Men varför skulle en mängd lärares (eller till och med elevers) videoproduktion vara till hjälp? Tänk på följande användningsfall: En handledare håller en kurs efter skolan för fem elever som behöver extra hjälp när de förbereder sig för sitt matteprov. Läraren cirkulerar runt det lilla klassrummet och arbetar med varje elev samtidigt som han refererar till en ASSISTments artikelrapport på hennes iPad. Hon märker att en av eleverna svarade fel på ett problem och att hans lösningsstrategi innehåller en missuppfattning om problemet. Medan handledaren undervisar honom genom misstaget använder han gränssnittet i appen ASSISTments för att spela in hjälpsessionen, förklara var studenten gick fel och hur man når rätt lösning (i huvudsak ett meddelande om konversationsfel). Inspelningen omfattar både en hörselförklaring och en visuell genomgång av problemet då handledaren arbetar genom missuppfattningen. Förklaringen tar ungefär 20 sekunder att ge, men eftersom den har fångats, får den bara ges en gång. Efter detta tillfälle att hjälpa studenten laddar läraren snabbt upp sin video till YouTube och länkar materialet till det aktuella problemet. Inom fem minuter når en annan student vid den extra hjälpen samma problem och försöker lösa det med samma missuppfattning. Den nyuppladdade feedbackvideon ges som ett felmeddelande och studenten kan korrigera sitt eget fel genom att titta på videon och försöka problemet igen. Under tiden kan läraren hjälpa en tredje elev med ett annat problem, i stället för att behöva ge detta första hjälp budskap repetitivt. Detta användningsfall är det perfekta förkroppsligandet av den vision som ASSISTments har för framtiden av adaptiv handledning. Processen utesluter inte den mänskliga handledaren från Int J Artif Intell Educ (2016) 26:615-644 627 återkopplingsprocessen, utan utnyttjar snarare kraften i förklaringar som ges en gång för att hjälpa studenter över flera fall. Vi har avsiktligt använt substantivet Btutor ^här snarare än Blärare ^ för att beteckna att studenter kan också kunna ge videofeedback för att hjälpa sina kamrater genom tuffa problem. Genom att använda denna metod iterativt över många problem, eller för att samla in många bidrag för ett visst problem, hävdar vi att adaptiv inlärningsteknik kan expandera sin bredd av handledning helt enkelt genom att få tillgång till de metakognitiva processer som redan förekommer i publiken. Hur kan vi övertyga lärare (och studenter) om att processen att samla in feedback och bygga ett bibliotek med förklaringar är användbar? Antag att målet är att samla in feedback från olika användare för att utöka biblioteket av felmeddelanden för att täcka varje vanligt fel svar för varje problem som används inom korrigerande Algebra 1 matematikkurser. Om vi betraktar problem från bara de 30 bästa grundläggande Algebra 1 matte läroböcker i Amerika, uppskatta 3000 frågor per bok, det lämnar totalt 90.000 frågor som kräver feedback. Högkvalitativa lärare i hela landet har redan gett förklaringar till många av dessa problem, men de har gått förlorade för enskilda elever snarare än spelats in och bankats in för senare användning av alla elever. Om varje matematiklärare i landet skulle förklara fem mattefrågor per dag, skulle ungefär 30 miljoner förklaringar genereras per år. Även om bara en av 300 instruktörer fångade en förklaring, skulle feedback samlas in för alla 90.000 frågor inom ett enda år. Studenter som arbetar sig igenom dessa problem kan också få i uppdrag att bidra genom att be dem att visa sitt arbete på sina kvällsläxor (en process som många lärare redan behöver) eller fånga in klassdiskussioner kring vanliga missuppfattningar. Genom att implementera crowdsourcing, kanske som beskrivs här genom insamling av videoåterkoppling, adaptiv inlärningsteknik kan potentiellt få tillgång till rikt användarinnehåll som annars skulle gå förlorat. Vi förväntar oss att adaptiv inlärningsteknik under de kommande åren kommer att innehålla mekanismer för interaktivitet för att få bidrag i stor skala, eller riktad crowdsourcing (Howe 2006). I vår plattform hoppas vi kunna uppnå detta genom att utöka ASSISTments befintliga kommentarsinfrastruktur, som redan ger lärare och forskare möjlighet att interagera med inlärare. Genom att utnyttja detta system, förväntar vi oss att låta elever att Bshow deras arbete,^eller ge ingående feedback till kamrater som kan levereras som tips, ställningar, eller misstag meddelanden. Denna process tar en komplex uppgift (innehållsskapande) och späder ut den till element som är gemensamma för traditionella matematikläxor. Crowdsourcing enkla uppgifter kräver en mycket annorlunda ram än vad som krävs för att lösa komplexa problem (Saxton et al. 2013)................................................................. Genom att skala ner den uppgift som begärs av varje elev blir inlärningsprocessen mycket mer livskraftig. Vi föreslår att andra adaptiva inlärningstekniker som vill genomföra crowdsourcing överväger uppgiftens komplexitet och hur man bäst kan få tillgång till "sinnet i publiken". För närvarande inom ASSISTments, varje gång en student arbetar på ett problem eller ges en antydan, de ges också en länk från vilken de kan skriva en kommentar. Studenternas kommentarer samlas in och levereras både till studentens lärare och till problemets författare, som visas i bild. 5................................................................ Lärare kan agera på kommentarer genom att hjälpa elever individuellt, medan innehåll författare (om inte läraren) kan använda 628 Int J Artif Intell Educ (2016) 26:615-644 kommentarer (som har anonymiserats) för att förbättra kvaliteten på sina frågor. Studenter som arbetar inom ASSISTments har redan skrivit 80.000 kommentarer samtidigt lösa ungefär 20 miljoner problem under de senaste fem åren. I kommentarsinfrastrukturen ingår en utdragsmeny som en meningsförrättare (se bild). 6 ) samt ett textfält där studenterna kan lämna sina kommentarer. Studenterna använder denna funktion för att be om hjälp, för att kommunicera sin förvirring eller för att ge synpunkter på frågan eller svaret (som visas i bild). Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Det är möjligt att baserat på djupet av deras förståelse, be studenterna att Bshowa sitt arbete ^genom en kommentar struktur kanske inte vara till hjälp för den student som ger bidraget (Askey 1999), men att den fungerande lösningen skulle i slutändan visa insikt för andra studenter när presenteras som utarbetade feedback. Målet för framtiden för ASSISTments är att använda en liknande infrastruktur för återkoppling från inlärarkällor. Vi hoppas kunna utnyttja kraften i YouTube, eller liknande videoservrar, tillsammans med ASSISTments probleminnehåll medan du använder sekventiell design och utveckla multi-armade bandit algoritmer för att hjälpa vid efterföljande feedback leverans (diskusserade i ett senare avsnitt). Detta tillvägagångssätt kommer att bygga av funktioner som redan finns inom ASSISTments-plattformen, men det kommer att göra det möjligt för användare att effektivt skapa och lägga feedback till systemet. Figur 7 visar ett mockup av en alternativ crowdsourcing gränssnitt, som skiljer sig från kommentarsinfrastrukturen, som kan göra det möjligt för innehåll författare att enkelt skapa och länka ingående feedback till problem i form av felmeddelanden. Denna miljö erbjuder ett mer djupgående tillvägagångssätt som syftar till att ta fram innehåll från domänexperter (dvs. lärareourcing) snarare än inlärare. På bild. 7, bild. 5 Kommentarer från användare om specifika problem. Några av kommentarerna är rutin medan andra ger innehållsförfattaren verkligt användbar information. Denna kommentar infrastruktur skulle kunna byggas ut så att eleverna kan Bshowa sitt arbete eller ladda upp användbara videor som senare skulle bli tips, ställningar, eller misstag meddelanden för sina kamrater Bild. 6 Den nuvarande strukturen för att kommentera inom ASSISTments. Studenter som vill lämna en kommentar väljer först från dra ner menyn, sedan skriva in en mer specifik kommentar Int J Artif Intell Educ (2016) 26:615-644 629 innehåll författare informeras om tre vanliga felaktiga svar och ges utrymme att svara i enlighet med varje scenario. Figuren visar att 30 % av studenterna svarade B-20, men det korrekta svaret skulle vara B-16.^ Som svar spelade innehållsförfattaren in och länkade en YouTube-video med handledning specifik för felet. Innehållsförfattaren laddade sedan upp en separat videolänk för de 22 % av studenterna som svarade med B20^ som ett vanligt felaktigt svar. Längst ner i Fig. 7, Bexplanation^sektionen gör det möjligt för innehåll författare att lägga till en mer allmän kommentar eller video som erbjuder ingående feedback som en on-demand tips. När eleverna tar itu med detta problem i framtiden, kommer de som gör gemensamma felaktiga svar att få skräddarsydd feedback, medan de som begär en antydan kommer att få den allmänna förklaringen. Denna inställning till crowdsourcing är mer adept för lärare och innehåll författare, eftersom de tillhandahåller den domän expertis som krävs för att reta ut missuppfattningar bakom vanliga felaktiga svar. Som sådan, föreslår vi att AIED samhället överväga lärareourcing (eller crowdsourcing från domänexperter) oberoende från inlärareourcing, snarare än att betrakta alla användare som en del av samma publik. Medan våra scheman ger insikt i hur den faktiska processen med crowdsourcing skulle kunna fungera inom en online-lärplattform, vi lämnas med frågor om hur man lär sig vilka bidrag är mest användbara, för vilka elever, och i vilka sammanhang? Vi föreslår inte att de metoder som presenteras här är de enda metoderna för att samla in elev- och lärarbidrag, och vi hävdar inte heller att ASSISTments kommer att vara den enda plattform som kan dessa typer av crowdsourcing. I detta arbete,
I detta dokument undersöker vi om en liknande process kan användas för att samla in en mängd olika förklaringar från lärare, som har kallats lärareourcing Ref.
The Future of Adaptive Learning: Does the Crowd Hold the Key?
{'venue': 'International Journal of Artificial Intelligence in Education', 'journal': 'International Journal of Artificial Intelligence in Education', 'mag_field_of_study': ['Computer Science']}