Överdriven återanvändning av holdout-data kan leda till överbemanning. Det finns dock få konkreta bevis för att det finns betydande överutrustning på grund av holdout återanvändning i populära multiclass riktmärken idag. Kända resultat visar att, i värsta fall, avslöjar noggrannheten hos k adaptivt valda klassificeringar på en datamängd av storlek n gör det möjligt att skapa en klassificerare med fördomar av  på k/n för eventuella binära förutsägelser problem. Vi visar en ny övre gräns av Õ(max { k log(n)/(mn), k/n}) på det värsta fall partiskhet som varje attack kan uppnå i en förutsägelse problem med m klasser. Dessutom presenterar vi en effektiv attack som uppnår en fördomsfull effekt på k/(m 2 n) och förbättrar tidigare arbete för den binära inställningen (m = 2). Vi presenterar också ett ineffektivt angrepp som uppnår en fördomsfullhet hos oss (k/n). Som komplement till vårt teoretiska arbete ger vi nya praktiska angrepp på stresstesta flerklassiga riktmärken genom att sträva efter att skapa så stora förutfattade meningar som möjligt med ett visst antal frågor. Våra experiment visar att den ytterligare osäkerheten om förutsägelser med ett stort antal klasser verkligen minskar effekten av våra bästa attacker. Vårt arbete utökar utvecklingen av förståelse överpassning på grund av adaptiv dataanalys till flerklassiga förutsägelser problem. Det bekräftar också det överraskande faktum att flerklassiga förutsägelser problem är betydligt mer robusta att översitta vid återanvändning av en test (eller hålla ut) dataset. Detta ger en förklaring till varför populära multiclass förutsägelse riktmärken, såsom ImageNet, kan ha en längre livslängd än vad intuition från litteratur om binär klassificering antyder.
REF visade att övermontering av en klassificerare på grund av test-set återanvändning lindras i multi-label prediktions problem, jämfört med binära prediktions problem.
The advantages of multiple classes for reducing overfitting from test set reuse
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}