M achine learning är ett kraftfullt verktyg för att omvandla data till beräkningsmodeller som kan driva användarvänliga applikationer. Potentiella användare av sådana tillämpningar, som ofta är domänexperter för ansökan, har dock begränsat deltagande i processen för att utveckla dem. Intrikaterna i att tillämpa maskininlärningsteknik på vardagliga problem har till stor del begränsat deras användning till skickliga utövare. I det traditionella tillämpade arbetsflödet för maskininlärning samlar dessa utövare in data, väljer funktioner för att representera data, förbehandla och omvandla data, väljer en representation och lärande algoritm för att konstruera modellen, melodiparametrar för algoritmen, och slutligen bedöma kvaliteten på den resulterande modellen. Denna bedömning leder ofta till ytterligare upprepningar av många av de tidigare stegen. Vanligtvis är alla slutanvändares engagemang i denna process förmedlat av utövarna och är begränsat till att tillhandahålla data, svara på domänrelaterade frågor eller ge feedback om den lärda modellen. Detta resulterar i en designprocess med långa och asynkrona iterationer och begränsar slutanvändarnas förmåga att påverka de resulterande modellerna. Betrakta följande fall studie av maskininlärning utövare som arbetar med biokemister för att utveckla en protein taxonomi genom att samla låg nivå proteinstrukturer (Caruana et al. 2006).................................................................. Projektledningen berättade om sin erfarenhet i ett inbjudet föredrag på Intelligent User Interfaces workshop 2013 om Interactive Machine Learning (Amershi et al. 2013)................................................................. För det första skulle utövarna skapa en klunga av proteinstrukturerna. Sedan träffade de biokemisterna för att diskutera resultaten. Biokemisterna skulle kritisera resultaten (t.ex. "dessa två proteiner bör/bör inte vara i samma kluster" eller "detta kluster är för litet"), vilket ger nya begränsningar för nästa iteration. Efter varje möte skulle utövarna noga anpassa klusterparametrarna för att följa den givna con- (Cohn, Caruana, och McCallum 2003; Caruana et al. 2006).................................................................. Dessa algoritmer var avsedda att ge människor möjlighet att snabbt iterera och inspektera många alternativa kluster inom ett enda sammanträde. Deras senare tillvägagångssätt är ett exempel på interaktivt maskininlärning, där inlärningscykler innebär snabbare, fokuserade och stegvisa modelluppdateringar än i den traditionella maskininlärningsprocessen. Dessa egenskaper gör det möjligt för vardagliga användare att interaktivt utforska modellutrymmet och driva systemet mot ett avsett beteende, vilket minskar behovet av övervakning av utövare. Följaktligen kan interaktiv maskininlärning underlätta demokratiseringen av tillämpat maskininlärning, vilket ger slutanvändarna möjlighet att skapa maskininlärningsbaserade system för sina egna behov och syften. Att möjliggöra effektiv interaktion mellan slutanvändare och interaktiv maskininlärning innebär dock nya utmaningar som kräver en bättre förståelse för slutanvändarnas möjligheter, beteenden och behov. Denna artikel främjar den empiriska studien av användare av interaktiva maskininlärningssystem som en metod för att ta itu med dessa utmaningar. Genom en serie fallstudier illustrerar vi följande förslag: Snabba, fokuserade och inkrementella inlärningscykler resulterar i en tät koppling mellan användaren och systemet, där de två påverkar varandra. Som ett resultat av detta är det svårt att frikoppla deras inflytande på den resulterande modellen och studera sådana system isolerat. Explicit studera användarinteraktion kan utmana antaganden om traditionella inlärningssystem om användare och bättre informera utformningen av interaktiva inlärningssystem. De sätt på vilka slutanvändare interagerar med inlärningssystem kan utvidgas till att omfatta de metoder som utövare gör (t.ex. inställningsparametrar eller definition av nya begränsningar), men nya interaktionsmetoder bör utvärderas noggrant med potentiella slutanvändare. Medan de presenterade fallstudierna målar upp en bred bild av den senaste forskningen i användarinteraktion med interaktiv maskininlärning, undersöker denna artikel inte uttömmande litteraturen i detta utrymme. I stället väljs dessa fallstudier ut för att belysa användarens roll och betydelse i den interaktiva maskininlärningsprocessen, vilket fungerar som en introduktion till ämnet och ett verktyg för att överväga denna forskning helt och hållet. Vi avslutar denna artikel med en diskussion om det aktuella läget på området, identifiera möjligheter och öppna utmaningar för framtida interaktiv maskininlärning forskning. Det tillämpade arbetsflödet för maskininlärning innebär ofta långa och komplexa iterationer. Processen inleds med data som tillhandahålls av domänexperter eller som särskilt samlas in för målapplikationen. Maskinlearning utövare arbetar sedan med domänexperter för att identifiera funktioner för att representera data. Därefter experimenterar utövarna med olika maskininlärningsalgoritmer, iteratively tuning parametrar, tweaking funktioner, och ibland samla in mer data för att förbättra målprestandamått. Resultaten undersöks sedan vidare av både utövare och domänexperter för att informera den efterföljande iterationen. I slutet av denna långa cykel uppdateras modellen på flera sätt och kan drastiskt skilja sig från den tidigare iterationen. Dessutom drivs denna iterativa undersökning av modellutrymmet främst av maskininlärningsutövarna, som förlitar sig på sin förståelse av maskininlärningsteknik för att göra välinformerade modelluppdateringar i varje iteration. Modelluppdateringar i interaktiv maskininlärning är däremot snabbare (modellen uppdateras omedelbart som svar på användarinmatning), fokuserad (endast en viss aspekt av modellen uppdateras) och inkrementell (uppdateringens omfattning är liten; modellen ändras inte drastiskt med en enda uppdatering). Detta gör det möjligt för användare att interaktivt undersöka effekten av sina åtgärder och anpassa efterföljande indata för att få önskade beteenden. Som ett resultat av dessa snabba interaktionscykler, även användare med liten eller ingen maskininlärning expertis kan styra maskininlärning beteenden genom låg kostnad försök och fel eller fokuserade experiment med input och outputs. Kanske de mest bekanta exempel på interaktiv maskininlärning i verkliga tillämpningar är rekommenderar system som Amazon produktrekommendationer, Netflix film rekommendationer, och Pandora musik rekommendationer. Användare av recommender system ställs ofta riktade frågor om sina preferenser för enskilda objekt 2 (som de tillhandahåller genom att gilla eller ogilla dem, till exempel). Dessa preferenser införlivas sedan snabbt i det underliggande inlärningssystemet för efterföljande rekommendationer. Om ett rekommendationssystem börjar rekommendera oönskade objekt efter att ha infört nya inställningar, kan användaren försöka omdirigera systemet genom att korrigera det eller ge olika preferensinformation i framtiden. Därefter presenterar vi två fallstudier som exemplifierar den interaktiva maskininlärningsprocessen och demonstrerar dess potential som ett verktyg för slutanvändare. Interactive Machine Learning for Image Segmentation Misslyckas och Olsen (2003) var de första att introducera artiklarna WINTER 2014 107 termen interaktiv maskininlärning i människa-datorinteraktion gemenskapen, som karakteriserar det med snabba tåg-feedback-korrigerande cykler, där användare iterativt ge korrigerande feedback till en inlärare efter att ha sett dess utgång. De demonstrerade denna process med sina Crayons system, som gjorde det möjligt för användare utan maskininlärning bakgrund att träna pixel klassificerare genom att iterativt markera pixlar som förgrund eller bakgrund genom penseldrag på en bild. Efter varje användarinteraktion svarade systemet med en uppdaterad bildsegmentering för ytterligare granskning och korrigerande inmatning. Utvärderingar av Crayons genom användarstudier visade att systemets omedelbara resultat gjorde det möjligt för användarna att snabbt se och korrigera felklassificeringar genom att lägga till nya utbildningsdata inom de mest problematiska områdena. Som illustreras i figur 2, efter en första klassificering, ger användaren Crayons med mer data i kanterna på handen där klassificeringen misslyckades. På frågan vad de tänkte när de interagerade med systemet, de flesta användare uppgav att de var fokuserade på att se delar av bilden som klassificerades felaktigt. Misslyckas och Olsens arbete med Crayons visade att användarna modifierar sitt beteende baserat på en inlärares resultat, vilket är en underliggande förutsättning för en stor del av följande forskning om interaktiv maskininlärning. Ett annat exempel på ett interaktivt maskininlärningssystem kommer från musiksammansättningens område Inom maskininlärning levererar människor iterativt information till ett inlärningssystem och observerar och tolkar sedan systemets utgångar för att informera efterföljande iterationer. I interaktiv maskininlärning är dessa iterationer mer fokuserade, frekventa och inkrementella än traditionell maskininlärning. Det tätare samspelet mellan användare och inlärningssystem i interaktiv maskininlärning kräver ett ökat fokus på att studera användarens engagemang i processen. och prestanda. Denna domän är naturligt interaktiv: musiker är vana vid att få omedelbar feedback när de interagerar med ett musikinstrument. Fiebrink, Cook och Trueman (2011) utvecklade Wekinator, ett maskininlärningssystem som gör det möjligt för människor att interaktivt skapa nya gestbaserade instrument, som att flytta en arm framför en webbkamera för att producera olika ljud baserat på armens position, hastighet eller rotation. I detta system får ett neuralt nätverk parade gester och ljud från användaren som ingång och lär sig att interpolera från oobserverade gestpositioner till en rad olika ljud. Användarna utvärderar sina instrument direkt genom att ge och bedöma de producerade ljuden. Samtidigt som man observerar elever som använder Wekinator i en tvärvetenskaplig musik- och datavetenskaplig kurs, fann författarna att systemets interaktiva karaktär, när eleverna tränade sina respektive instrument, också bidrog till att utbilda eleverna. Eleverna lärde sig till exempel hur man känner igen buller i sina träningsprover och ger klarare exempel till eleven. I vissa fall justerade eleverna till och med sina mål för att matcha elevens observerade förmåga. I en uppföljning undersökning med en professionell cellist (Fiebrink, Cook, och Trueman 2011), cellisten identifierade brister i hennes spelteknik samtidigt som man försöker träna en gest känna igen. Processen visade att cellistens böjande artikulation inte var så exakt som hon hade trott. Genom att observera utdata från systemet i realtid, Wekinator användare kunde ändra sitt beteende på sätt som tillät dem att skapa instrument till sin tillfredsställelse. Dessa exempel illustrerar de snabba, fokuserade och inkrementella interaktionscykler som är grundläggande för interaktiv maskininlärning; det är dessa cykler som underlättar slutanvändarnas engagemang i maskininlärningsprocessen. Dessa cykler resulterar också i en tät koppling mellan användaren och systemet, vilket gör det omöjligt att studera systemet isolerat från användaren. Detta kräver ett ökat fokus på att studera hur användarna effektivt kan påverka maskininlärningssystemet och hur inlärningssystemet på lämpligt sätt kan påverka användarna. I följande avsnitt undersöks hur explicit studier av slutanvändare kan utmana antaganden om traditionell maskininlärning och bättre informera utvecklingen av interaktiva maskininlärningssystem. Många av de fallstudier att följa dessutom överväga mindre traditionella typer av input och output, som går bortom märkta exempel och observationer av inlärare förutsägelser. Se figur 2 i bilaga II till förordning (EG) nr 1069/2009. Interaktiv träning av Crayons System. Systemet tar pixlar märkta som bakgrund/förgrund som ingång (tillhandahålls genom penseldrag), och ger en helt segmenterad bild som utgång (finns genom en klassificering som märker varje pixel som förgrund/bakgrund). Användarens input är fokuserad på områden där klassificeringen misslyckas i tidigare iterationer (Underkänder och Olsen 2003). InsatsdataSegmentering Iteration 1 Iteration 2 Iteration 3 Den ökade interaktionen mellan användare och lärandesystem i interaktiv maskininlärning kräver en ökad förståelse för hur slutanvändarnas engagemang påverkar inlärningsprocessen. I detta avsnitt presenterar vi fallstudier som visar hur en sådan förståelse i slutändan kan leda till bättre informerade systemkonstruktioner. För det första presenterar vi fallstudier som visar hur människor kan bryta antaganden gjorda av traditionella maskininlärare, vilket resulterar i oväntade resultat och användaren frustration. Därefter presenterar vi fallstudier som visar att människor kanske vill interagera med maskininlärningssystem på ett rikare sätt än förväntat, vilket tyder på nya input- och utdatafunktioner. Slutligen presenterar vi fallstudier som experimenterar med ökad transparens om hur maskininlärningssystem fungerar, och som visar att sådan transparens kan förbättra användarupplevelsen i vissa scenarier, samt noggrannheten hos resulterande modeller. Aktivt lärande är ett maskininlärningsparadigm där eleven väljer de exempel han kommer att lära sig (Settles 2010). Dessa exempel väljs ut ur en samling omärkta prover på grundval av ett urvalskriterium (t.ex. prov för vilka eleven har maximal osäkerhet). För varje utvalt prov frågar eleven ett orakel för att begära en etikett. Denna metod har varit framgångsrik när det gäller att påskynda inlärningen (dvs. att kräva färre etiketter för att uppnå en målnoggrannhet) i tillämpningar som textklassificering och objektigenkänning, där orakel ofta betalas för att tillhandahålla etiketter under lång tid. Cakmak och kollegor (2010) upptäckte dock att aktivt lärande kan orsaka flera problem när det tillämpas på interaktiva inställningar, t.ex. en person som lär ut en uppgift till en robot genom exempel. Cakmaks studie (figur 3) fann att den konstanta strömmen av frågor från roboten under interaktionen uppfattades som obalanserad och irriterande. Strömmen av frågor ledde också till en nedgång i användarens mentala modell av hur roboten lärde sig, vilket fick vissa deltagare att "stänga av sin hjärna" eller "förlora spår av vad de undervisade" (enligt deras självrapport) (Cakmak, Choa, och Thomaz 2010). Guillory och Bilmes (2011) rapporterade liknande fynd för ett aktivt filmrekommenderingssystem som de utvecklat för Netflix. Dessa studier visar att användarna inte nödvändigtvis är villiga att vara enkla orakel (dvs. gång på gång tala om för datorn om det är rätt eller fel), bryta ett grundläggande antagande om aktivt lärande. I stället måste dessa system redogöra för sådana mänskliga faktorer som frånkopplingsförmåga eller frustration när man använder metoder som aktivt lärande. I förstärkande inlärning, en agent sinnen och agerar i en uppgift miljö och får numeriska belöningsvärden efter varje handling. Med denna erfarenhet försöker inlärningsagenten hitta beteendestrategier som förbättrar dess förväntade ansamling av belöningar. Ett antal forskningsprojekt har undersökt det scenario i vilket denna belöning kommer som återkoppling från en mänsklig användare snarare än en funktion som definierats av en expert (Isbell et al. 2006, Thomaz och Breazeal 2008, Knox och sten 2012. Vid utvärderingen av genomförbarheten av icke-expertanvändare undervisning genom belöningssignaler, dessa forskare syftar till att både utnyttja mänsklig kunskap för att förbättra inlärningshastigheten och tillåta användare att anpassa en agents beteende för att passa sina egna behov. Thomaz och Breazeal (2008) konstaterade att människor har en stark tendens att ge mer positiva belöningar än negativa belöningar. Knox och Stone (2012) bekräftade senare denna positiva partiskhet i sina egna experiment. De visade vidare att sådan partiskhet leder många agenter att undvika det mål som användarna lär den att nå (till exempel vattnet i figur 4). Denna oönskade konsekvens uppstår med en gemensam klass av förstärkande inlärningsalgoritmer: agenter som värdebelönade på lång sikt och lärs att slutföra så kallade tillfälliga uppgifter. Denna insikt rättfärdigade den tidigare populära lösningen att göra agenter som hedonistiskt endast strävar efter kortsiktiga mänskliga belöningar, och den ledde Knox och Stone (2013) att skapa en algoritm som framgångsrikt lär sig genom att värdera mänskliga belöningar som kan vinnas på lång sikt. Agenter tränade genom sitt nya tillvägagångssätt var mer robusta till miljöförändringar och betedde sig mer lämpligt i okända stater än gjorde mer hedonistiska (dvs. myopiska) varianter. Dessa medel och de algoritmiska riktlinjer Knox och Stone skapade var resultatet av flera iterationer av användarstudier, som identifierade positiv partiskhet och sedan verifierade dess hypoteseffekter. I ett experiment av Thomaz och Breazeal (2008) tränade användare en simulerad agent att baka en kaka genom ett förstärkande inlärningsramverk. I sitt gränssnitt gav användare feedback till eleven genom att klicka och dra en mus -längre drag gav större-magnitud belöning värden, och dra riktning bestämde valence (+ /-) av belöningsvärdet (figur 4). Vidare kunde användarna klicka på specifika objekt för att signalera att återkopplingen var specifik för det objektet, men de fick höra att de inte kunde kommunicera vilka åtgärder agenten skulle vidta. Thomaz och Breazeal fann bevis för att människor ändå gav positiv feedback till objekt som de ville att agenten skulle manipulera, till exempel en tom skål som agenten är i stånd att plocka upp. Dessa användare bröt mot instruktionerna genom att tillämpa vad som kunde anses vara en irrelevant grad av frihet - att ge återkoppling till objekt som inte nyligen manipulerats - att ge vägledning till agenten om framtida åtgärder, snarare än faktisk feedback om tidigare åtgärder. Efter att Thomaz och Breazeal anpassat agentens gränssnitt och algoritm för att införliva sådan vägledning, förbättrade agentens inlärningsprestanda avsevärt. Andra forskare har kommit fram till liknande slutsatser. I en Wizard-of-Oz-studie (dvs. agentens resultat tillhandahölls i hemlighet av en människa) av Kaochar och kollegor (2011), lärde användare en simu-försedd obemannad flygfarkost (UAV) att utföra olika uppdrag. När som helst valde dessa användare att undervisa genom demonstration, feedback eller genom att ge ett exempel på ett koncept. De kunde också testa agenten för att se vad den hade lärt sig. Författarna fann att användarna aldrig lärde ut enbart feedback, utan att de i allmänhet använde den efter att ha undervisat på andra tillgängliga sätt. Tillsammans ger dessa två studier inblick i utformningen av naturliga gränssnitt för lärare. Människor vill naturligtvis ge mer än bara dataetiketter Märkningsdata är fortfarande den mest populära metoden för slutanvändarens inmatning till interaktiva maskininlärningssystem på grund av dess enkelhet och användarvänlighet. Som framgår av tidigare fallstudier kan dock märkningsbaserade indata ha nackdelar (t.ex. negativa attityder till att behandlas som ett orakel). Dessutom tyder ny forskning på att användarna i vissa scenarier kan vilja ha mer kontroll över maskininlärningssystem än att bara märka data. Till exempel har Stumpf och kollegor (2007) genomfört en studie för att förstå vilka typer av slutanvändare som kan tillhandahålla maskininlärningssystem om gränssnittet är obegränsat. Författarna genererade tre typer av förklaringar för förutsägelser från ett textklassificeringssystem som fungerar över e-postmeddelanden. Dessa förklaringar presenterades för människor i form av pappersbaserade mockups för att undvika intrycket av ett färdigt system och uppmuntra människor att ge mer feedback. Människor ombads då att ge feedback i fri form på pappersprototyperna med målet att försöka rätta till klassificeringens misstag. Detta experiment genererade cirka 500 återkopplingar från deltagarna, som sedan kommenterades och kategoriserades. Författarna fann att människor naturligt gav ett brett utbud av inmatningstyper för att förbättra klassificeringens prestanda, bland annat föreslå alternativa funktioner att använda, justera betydelsen eller vikten som ges till olika funktioner, och ändra den information som extraheras från texten. Dessa resultat ger en möjlighet att utveckla nya maskininlärningsalgoritmer som bättre kan stödja den naturliga feedback människor vill ge till inlärare, snarare än tvinga användare att interagera på begränsade, inlärarcentrerade sätt. Förutom att människor vill ha rikare kontroller vill de ibland ha mer insyn i hur deras maskininlärningssystem fungerar. Kulesza och kollegor (2012) gav användare av en innehållsbaserad musikrekommendation med en 15-minuters handledning som diskuterade hur rekommendationen fungerade och hur olika återkopplingskontroller (till exempel betygslåtar, styrning mot specifika funktionsvärden, och så vidare) skulle påverka eleven. Förvånansvärt nog reagerade deltagarna positivt på att lära sig dessa detaljer om systemet. Dessutom fann forskarna att ju fler deltagare som lärde sig om rekommendationen samtidigt som de interagerade med den, desto mer nöjda var de med rekommendationens resultat. Denna fallstudie ger bevis för att användarna inte alltid är nöjda med "black box" inlärningssystem - ibland vill de ge nyanserad feedback för att styra systemet, och de är villiga och kan lära sig detaljer om systemet för att göra det. Rashid och kollegor (2006) undersökte insynen på en mer social nivå och undersökte effekten av att visa användarna värdet av deras potentiella filmbetyg till en bredare gemenskap i MovieLens rekommendationssystem. Användare som fick information om värdet av sitt bidrag till hela MovieLens community gav fler betyg än de som inte fick sådan information, och de som fick information om värde för en grupp användare med liknande smaker gav fler betyg än de som fick information om hela MovieLens community. Ibland gör användare misstag medan märkning, vilket ger falsk information till eleven. Även om de flesta inlärningssystem är robusta för enstaka mänskliga fel, Rosenthal och Dey satte ut för att lösa detta problem vid källan. De försökte minska användarnas misstag genom att tillhandahålla riktad information när en etikett begärs i en aktiv inlärningsmiljö. Den information som lämnades till användaren innehöll en kombination av kontextuella egenskaper hos det prov som ska märkas, förklaringar av dessa egenskaper, elevens egen förutsägelse av etiketten för provet, och dess osäkerhet i denna förutsägelse (Rosenthal och Dey 2010). De genomförde två studier för att bestämma den delmängd av sådan information som är mest effektiv för att förbättra märkningen noggrannheten hos användarna. Den första handlade om att märka främlingars e-postmeddelanden i kategorier, samt om att märka möjligheten att avbryta främlingars aktiviteter, den andra om att märka sensoriska inspelningar av deras egen fysiska aktivitet. Båda studierna visade att den högsta märkningsnoggrannheten uppstod när systemet gav tillräckliga kontextuella egenskaper och aktuella förutsägelser utan osäkerhetsinformation. Denna forskningslinje visar att det sätt på vilket information presenteras (t.ex. med eller utan sammanhang) i hög grad kan påverka kvaliteten på det svar som framkallas av användaren. Denna fallstudie visar också att inte alla typer av transparens förbättrar prestandan hos interaktiva maskininlärningssystem, och användarstudier kan hjälpa till att avgöra vilken information som är mest användbar för den avsedda publiken. Artiklar Sammanfattning Att förstå hur människor faktiskt interagerar - och vill interagera - med maskininlärningssystem är avgörande för att utforma system som människor kan använda effektivt. Att utforska interaktionsteknik genom användarstudier kan avslöja luckor i en designers antaganden om sina slutanvändare och kan föreslå nya algoritmiska lösningar. I några av de fall vi granskade bröt människor naturligtvis antaganden om maskininlärningsalgoritmen eller var ovilliga att följa dem. Andra fall visade att användarstudier kan leda till användbara insikter om vilka typer av input och output som gränssnitt för interaktiv maskininlärning bör stödja. I allmänhet kan denna typ av forskning ta fram designförslag och överväganden, inte bara för människor som bygger användargränssnitt och utvecklar den övergripande användarupplevelsen, utan även för maskininlärningssamhället.
Ur maskininlärning/artificiell intelligenss synvinkel har Amershi et al presenterat en utmärkt undersökning av de metoder och tillvägagångssätt som använts under de senaste 15 åren. Hoppa över det.
Power to the People: The Role of Humans in Interactive Machine Learning
{'venue': 'AI Magazine', 'journal': 'AI Magazine', 'mag_field_of_study': ['Computer Science']}