Abstract-Data-utbildade prediktiva modeller ser utbredd användning, men för det mesta används de som svarta lådor som ger en förutsägelse eller poäng. Det är därför svårt att få en djupare förståelse för modellbeteendet, och i synnerhet hur olika egenskaper påverkar modellens förutsägelse. Detta är viktigt vid tolkning av beteendet hos komplexa modeller, eller hävda att vissa problematiska attribut (som ras eller kön) inte otillbörligt påverkar beslut. I detta dokument presenterar vi en teknik för granskning av svart-box modeller, som låter oss studera i vilken utsträckning befintliga modeller drar nytta av särskilda funktioner i datasetet, utan att veta hur modellerna fungerar. Vårt arbete fokuserar på problemet med indirekt påverkan: hur vissa funktioner indirekt kan påverka resultat via andra, relaterade funktioner. Som ett resultat kan vi hitta attributinfluenser även i fall där, vid ytterligare direkt granskning av modellen, attributet inte hänvisas till av modellen över huvud taget. Vårt tillvägagångssätt kräver inte att modellen med svarta lådor omskolas. Detta är viktigt om (till exempel) modellen endast är tillgänglig via ett API, och kontrasterar vårt arbete med andra metoder som undersöker funktionsinverkan som funktionsval. Vi presenterar experimentella bevis för effektiviteten i vårt förfarande med hjälp av en mängd offentligt tillgängliga dataset och modeller. Vi validerar också vårt förfarande med hjälp av tekniker från tolkningsbart lärande och funktionsval, samt mot andra Black-box granskningsförfaranden.
I REF studerar författarna den indirekta påverkan som vissa funktioner har på resultat, genom andra relaterade egenskaper i svart box modeller.
Auditing Black-Box Models for Indirect Influence
{'venue': 'ICDM', 'journal': None, 'mag_field_of_study': ['Computer Science']}