Abstract-Deep learning (DL) definierar ett nytt datadrivet programmeringsparadigm där den interna systemlogiken till stor del formas av träningsdata. Standardmetoden för att utvärdera DL-modeller är att undersöka deras prestanda på en testdatauppsättning. Kvaliteten på testdatasetet är av stor betydelse för att få förtroende för de utbildade modellerna. Med hjälp av en otillräcklig testdatauppsättning kan DL-modeller som har uppnått hög testnoggrannhet fortfarande sakna allmänhet och robusthet. I traditionell programvarutestning är mutationstest en väletablerad teknik för kvalitetsbedömning av testsviter, som analyserar i vilken utsträckning en testsvit upptäcker de injicerade felen. På grund av den grundläggande skillnaden mellan traditionell programvara och djupinlärning baserad programvara kan traditionella metoder för mutationstestning inte tillämpas direkt på DL-system. I detta dokument föreslår vi ett ramverk för mutationstestning som är specialiserat på DL-system för att mäta kvaliteten på testdata. För att göra detta, genom att dela samma anda av mutationstestning i traditionell programvara, definierar vi först en uppsättning mutationsoperatörer på källnivå för att injicera fel till källan till DL (dvs., träningsdata och utbildningsprogram). Sedan designar vi en uppsättning mutationsoperatörer på modellnivå som direkt injicerar fel i DL-modeller utan en utbildningsprocess. Så småningom kunde kvaliteten på testdata utvärderas från analysen om i vilken utsträckning de injicerade felen kunde upptäckas. Nyttan av de föreslagna mutationstestmetoderna visas på två offentliga datauppsättningar, nämligen MNIST och CIFAR-10, med tre DL-modeller.
DeepMutation tillämpar principen om mutationstestning på DL-system genom att mutera träningsdata, testdata, liksom själva DL-systemet, baserat på källa och modellnivå mutationsoperatörer REF.
DeepMutation: Mutation Testing of Deep Learning Systems
{'venue': 'DeepMutation: Mutation Testing of Deep Learning Systems. In Proceedings of the 29th IEEE International Symposium on Software Reliability Engineering (ISSRE 2018), October 15-18, 2018, Memphis, USA', 'journal': None, 'mag_field_of_study': ['Computer Science']}