I maskininlärningstävlingar såsom ImageNet Large Scale Visual Recognition Challenge [RDS + 15] och KDD Cup, tävlande kan lämna kandidatlösningar och få från ett oracle (vanligtvis arrangörerna av tävlingen) exaktheten i sina gissningar jämfört med mark-sanningen etiketter. En av de vanligaste noggrannhetsmåtten för binära klassificeringsuppgifter är området under mottagarens operativa egenskaper Curve (AUC). I denna uppsats ger vi bevis-of-concept om hur kunskap om AUC för en uppsättning gissningar kan användas, i två olika typer av attacker, för att förbättra noggrannheten hos dessa gissningar. Å andra sidan visar vi också intractability av en typ av AUC utnyttja genom att bevisa att antalet möjliga binära märkningar av n exempel för vilka en kandidat lösning får en AUC-poäng c växer exponentiellt i n, för varje c 0, 1).
I vårt eget tidigare arbete REF visade vi dessutom hur ett orakel som rapporterar AUC kan användas för att med fullständig säkerhet dra slutsatsen att några av testetiketterna är riktiga.
Exploiting an Oracle that Reports AUC Scores in Machine Learning Contests
{'venue': 'AAAI', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}