Under de senaste åren har många korrekta beslutsstödsystem konstruerats som svarta lådor, det vill säga som system som döljer sin inre logik för användaren. Denna brist på förklaring utgör både en praktisk och en etisk fråga. I litteraturen rapporteras många metoder som syftar till att övervinna denna avgörande svaghet, ibland till priset av att offra noggrannhet för tolkningsbarhet. De tillämpningar där beslutssystem för svarta rutor kan användas är olika, och varje tillvägagångssätt är vanligtvis utvecklat för att ge en lösning på ett specifikt problem och därmed uttryckligen eller implicit avgränsar sin egen definition av tolkningsbarhet och förklaring. Syftet med denna artikel är att ge en klassificering av de huvudsakliga problem som behandlas i litteraturen med avseende på begreppet förklaring och typen av svart låda system. Med tanke på en problemdefinition, en svart låda typ, och en önskad förklaring, denna undersökning bör hjälpa forskaren att hitta förslagen mer användbara för sitt eget arbete. Den föreslagna klassificeringen av metoder för att öppna modeller för svarta lådor bör också vara användbar för att sätta de många forskning öppna frågor i perspektiv. Trots det faktum att maskininlärning har varit ett ämne under ganska lång tid och nyligen fått mycket uppmärksamhet, idag finns det många ad hoc spridda resultat, och en systematisk organisation och klassificering av dessa metoder saknas. Många frågor ligger till grund för de artiklar i litteraturen som föreslår metoder för tolkning av svarta boxsystem [41, 132] : Vad innebär det att en modell är tolkningsbar eller öppen? Vad är en förklaring? När en modell eller en förklaring är begriplig? Vilket är det bästa sättet att ge en förklaring? Vilka är de problem som kräver tolkningsbara modeller/prediktioner? Vilken typ av beslutsuppgifter påverkas? Vilken typ av dataposter är mer begripliga? Hur mycket är vi villiga att förlora i förutsägelsemässig exakthet för att få någon form av tolkningsbarhet? Vi anser att det behövs en tydlig klassificering med tanke på alla dessa aspekter samtidigt för att organisera kunskapen om forskning som undersöker metoder för att öppna och förstå den svarta lådan. Befintliga arbeten tenderar att ge bara en allmän översikt över problemet [68] som belyser obesvarade frågor och problem [28]. Andra arbeten fokuserar dock på särskilda aspekter som representationsformatens inverkan på begripligheten [43] eller tolkningsfrågorna när det gäller fördelar och nackdelar med utvalda prediktiva modeller [32]. Följaktligen, efter att ha erkänt fyra kategorier av problem och en uppsättning sätt att ge en förklaring, har vi valt att gruppera metoderna för att öppna och förstå svart box prediktorer genom att samtidigt överväga det problem de står inför, den klass av lösningar som föreslås för förklaringen, den typ av data som analyseras och den typ av prediktor förklaras. Resten av artikeln är organiserad enligt följande. För det första visar avsnitt 2 vilka som är motiven för att kräva förklaring för svarta boxsystem genom att illustrera några verkliga fall. I avsnitt 3 diskuterar vi vad tolkningsbarhet är. I Avsnitt 4 formaliserar vi våra problemdefinitioner som används för att kategorisera toppmoderna verk. Närmare uppgifter om klassificeringen och viktiga punkter som skiljer de olika tillvägagångssätten och dokumenten från varandra behandlas i avsnitt 5. I avsnitten 6, 7, 8 och 9 presenteras detaljerna i de föreslagna lösningarna. I avsnitt 10 sammanfattas slutligen de avgörande aspekter som framkommit vid analysen av teknikens utveckling och diskuteras vilka som är de öppna forskningsfrågor och framtida forskningsinriktningar. Vilka är de verkliga problemen som kräver tolkningsbara modeller och förklarande förutsägelser? I detta avsnitt rapporterar vi kortfattat några fall som visar hur och varför svarta lådor kan vara farliga. Att delegera beslut till svarta lådor utan möjlighet till tolkning kan vara kritiskt, kan skapa diskriminering och förtroendefrågor. Utbildning en klassificering av historiska datauppsättningar, rapportering mänskliga beslut, kan leda till upptäckt av endemiska förutfattade meningar [88]. Eftersom dessa regler kan döljas djupt inom den utbildade klassificeringen riskerar vi dessutom att betrakta sådana metoder och fördomar, kanske omedvetet, som allmänna regler. Vi är varnade för ett växande "black box society" [86], som styrs av "hemliga algoritmer som skyddas av industriell sekretess, rättsligt skydd, fördunkladhet, så att avsiktlig eller oavsiktlig diskriminering blir osynlig och begränsning blir omöjlig." Automatiserad diskriminering är inte ny och beror inte nödvändigtvis på "svarta box"-modeller. Under 1970 - och 1980-talen användes ett datorprogram för att söka jobb i St. George's Hospital Medical School, London, Storbritannien. Programmet använde information från sökandes formulär, utan någon hänvisning till etnicitet. Programmet visade sig emellertid orättvist diskriminera etniska minoriteter och kvinnor genom att härleda denna information från efternamn och födelseort, och minska deras chanser att bli utvalda för intervju [71]. På senare tid har journalisterna på propublica.org visat att COMPAS poäng, en prediktiv modell för "risken för brott recidivism" (proprietär hemlighet Northpointe), har en stark etnisk fördomsfullhet. Enligt denna poäng, en svart som inte re-offend klassificerades som hög risk dubbelt så mycket som vita som inte re-offend,
Se REF för en enkät.
A Survey of Methods for Explaining Black Box Models
{'venue': 'CSUR', 'journal': None, 'mag_field_of_study': ['Computer Science']}