Tolkningsförmåga har blivit en viktig fråga eftersom maskininlärning i allt högre grad används för att informera följdbeslut. Vi föreslår ett tillvägagångssätt för att tolka en blackbox-modell genom att extrahera ett beslutsträd som ungefär motsvarar modellen. Vår modellextraheringsalgoritm undviker övermontering genom att utnyttja blackboxmodellens tillgång till aktiva prov på nya träningspunkter. Vi bevisar att när antalet prover går till oändlighet, beslutsträdet lärt sig med hjälp av vår algoritm konvergerar till exakt det giriga beslutsträdet. I vår utvärdering använder vi vår algoritm för att tolka slumpmässiga skogar och neurala nät tränade på flera dataset från UCI Machine Learning Repository, samt styrpolicyer inlärda för tre klassiska förstärkning inlärningsproblem. Vi visar att vår algoritm förbättrar över en baslinje baserad på CART på varje problem instans. Dessutom visar vi hur en tolkning som genereras av vårt tillvägagångssätt kan användas för att förstå och felsöka dessa modeller.
Bastani m.fl. försöka förstå resonemangsprocessen för en svart låda modell genom att extrahera ett beslut träd som approximerar klassificeringen modell REF.
Interpreting Blackbox Models via Model Extraction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}