Att konsekvent kontrollera den statistiska betydelsen av experimentella resultat är ett av de obligatoriska metodologiska stegen för att ta itu med den så kallade "reproducerbarhetskrisen" när det gäller att fördjupa inlärningen. I detta handledningspapper förklarar vi hur antalet slumpmässiga frön relaterar till sannolikheten för statistiska fel. För både t-testet och bootstrap konfidensintervallet, minns vi teoretiska riktlinjer för att bestämma antalet slumpmässiga frön man bör använda för att ge en statistiskt signifikant jämförelse av prestanda för två algoritmer. Slutligen diskuterar vi påverkan av avvikelser från de antaganden som vanligtvis görs genom statistiska tester. Vi visar att de kan leda till felaktiga bedömningar av statistiska fel och ge riktlinjer för att motverka dessa negativa effekter. Vi gör vår kod tillgänglig för att utföra tester 1.
Detta har i sin tur lett till statistisk effektanalys för att fastställa tillräckligt många slumpmässiga frön för att möjliggöra tillförlitlig jämförelse mellan algoritmer REF.
How Many Random Seeds? Statistical Power Analysis in Deep Reinforcement Learning Experiments
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}