Denna artikel granskar fem ungefärliga statistiska tester för att avgöra om en lärande algoritm överträffar en annan på en viss inlärning uppgift. Dessa tester jämförs experimentellt för att fastställa deras sannolikhet att felaktigt upptäcka en skillnad när ingen skillnad finns (typ I fel). Två allmänt använda statistiska tester visas ha hög sannolikhet för typ I fel i vissa situationer och bör aldrig användas: ett test för skillnaden mellan två proportioner och ett par-skillnader t test baserat på att ta flera slumpmässiga tågprov uppdelningar. Ett tredje test, ett parskillnadstest t baserat på 10-faldig korsvalidering, uppvisar något förhöjd sannolikhet för typ I-fel. Ett fjärde test, McNemars test, visar sig ha låg typ I fel. Det femte testet är ett nytt test, 5 × 2 cv, baserat på fem iterationer med dubbel korsvalidering. Experiment visar att detta test också har godtagbart fel av typ I. Artikeln mäter också effekten (förmåga att upptäcka algoritmskillnader när de finns) av dessa tester. Det korsvaliderade t-testet är det mest kraftfulla. 5×2 cv-testet visas vara något mer kraftfullt än McNemars test. Valet av det bästa testet bestäms av beräkningskostnaden för att köra inlärningsalgoritmen. För algoritmer som endast kan utföras en gång är McNemars test det enda testet med godtagbart typ I-fel. För algoritmer som kan utföras 10 gånger rekommenderas 5 × 2 cv testet, eftersom det är något kraftfullare och eftersom det direkt mäter variation på grund av valet av träningsset.
Dietterich REF granskade fem ungefärliga statistiska tester för att avgöra om en inlärningsmetod överträffar en annan i en viss klassificeringsuppgift.
Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms
{'venue': 'Neural Computation', 'journal': 'Neural Computation', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Medicine']}