System för djupinlärning (DL) antas snabbt inom säkerhets- och säkerhetskritiska områden och kräver snabbt sätt att testa deras korrekthet och robusthet. Testning av DL-system har traditionellt varit beroende av manuell insamling och märkning av data. Nyligen har ett antal täckningskriterier baserat på neuronaktiveringsvärden föreslagits. Dessa kriterier räknar i huvudsak antalet neuroner vars aktivering under utförandet av ett DL-system uppfyllde vissa egenskaper, t.ex. över fördefinierade tröskelvärden. Befintliga täckningskriterier är dock inte tillräckligt finkorniga för att fånga subtila beteenden som DL-systemen uppvisar. Utvärderingarna har dessutom inriktats på att visa samband mellan kontradiktoriska exempel och föreslagna kriterier i stället för att utvärdera och vägleda deras användning för faktisk testning av DL-system. Vi föreslår ett nytt testlämplighetskriterium för testning av DL-system, Surprise Adekvacy for Deep Learning Systems (SADL), som bygger på DL-systems beteende med avseende på deras träningsdata. Vi mäter överraskningen av en input som skillnaden i DL-systemets beteende mellan indata och träningsdata (dvs. vad som lärdes under utbildningen) och utvecklar därefter detta som ett lämplighetskriterium: en bra indata bör vara tillräckligt men inte alltför förvånande jämfört med utbildningsdata. Empirisk utvärdering med hjälp av en rad DL-system från enkla bildsorterare till autonoma bilplattformar visar att systematisk provtagning av indata baserat på deras överraskning kan förbättra klassificeringsnoggrannheten för DL-system mot kontradiktoriska exempel med upp till 77,5 % via omskolning.
I kontrast till detta, Kim et al. REF definierade ett täckningskriterium, kallat överraskningslämplighet, baserat på beteendet hos DNN-baserade system med avseende på deras träningsdata.
Guiding Deep Learning System Testing Using Surprise Adequacy
{'venue': '2019 IEEE/ACM 41st International Conference on Software Engineering (ICSE)', 'journal': '2019 IEEE/ACM 41st International Conference on Software Engineering (ICSE)', 'mag_field_of_study': ['Computer Science']}