Abstract-Vi tror att beräkningsvetenskap som praktiseras idag lider av en växande trovärdighetsklyfta - det är omöjligt att replikera de flesta av de beräkningsresultat som presenteras vid konferenser eller publiceras i tidningar idag. Vi hävdar att denna kris kan åtgärdas genom öppen tillgång till koden och data som genererade resultaten, med andra ord genom att praktisera reproducerbar beräkningsvetenskap. I den här artikeln presenterar vi en ny beräkningsinfrastruktur som heter RunMyCode.org som är utformad för att stödja publicerade artiklar genom att tillhandahålla en spridningsplattform för koden och data som genererade deras resultat. Publicerade artiklar ges en följeslagare webbplats på RunMyCode.org webbplats där en besökare kan både ladda ner tillhörande kod och data, och köra koden i molnet direkt via RunMyCode.org webbplats. Detta gör det möjligt att verifiera resultaten via följeslagarens webbsida eller på en användares lokala system. RunMyCode.org tillåter också en användare att ladda upp sina egna data till följeslagarens webbsida för att kontrollera koden genom att köra den på nya datauppsättningar. Genom att skapa "kodersidor" för varje bidragsgivare till RunMyCode.org försöker vi underlätta social nätverksliknande interaktion. Deskriptiv information finns på varje kodarsida, inklusive demografiska uppgifter och andra åtföljande sidor till vilka de bidrog. I den här artikeln motiverar vi RunMyCode.orgs logik och funktionalitet och skisserar en vision om dess framtid. Termer-reproducerbar forskning, reproducerbar beräkningsvetenskap, spridningsplattform, samarbetsnätverk, cloud computing, körbara papper, code sharing, data sharing, open science Under de senaste 20 åren har bruket av vetenskap genomgått en revolution, som kommer att avsluta med beräkning som helt central för det vetenskapliga företaget. Dagens akademiska forskare är mer benägna att likna en dator jockey arbetar hela tiden för att starta experiment på datorservrar. Långt borta är den traditionella bilden av vetenskapsmännen som en ensam person som arbetar i ett laboratorium eller klottrar i de bakre gångarna i matematikbiblioteket. Denna övergång har inte varit smidig, och vi anser att den redan har fört oss till ett kristillstånd. Den stora majoriteten av de vetenskapliga resultat som genereras av nuvarande beräkningsvetenskap praxis lider en stor och växande trovärdighet gap: det är omöjligt att replikera och verifiera de flesta av de beräkningsresultat som publiceras eller presenteras på konferenser idag. Det har traditionellt funnits två grenar av den vetenskapliga metoden, deduktiven och induktiven. Den avdragsgilla grenen omfattar områden som matematik och logik, och det induktiva området omfattar empiriska vetenskaper. Det har diskuterats mycket, även på mycket höga politiska nivåer, under de senaste åren om uppkomsten av nya grenar av den vetenskapliga metoden som härrör från den beräkningsrevolutionen [1]. Både cpu-intensiva simuleringar och datadroppar framkallar diskussioner om den tredje och fjärde delen av den vetenskapliga metoden, men vi kan inte höja beräkningsvetenskapen till en ny gren av den vetenskapliga metoden förrän vi kan generera tillförlitlig kontrollerbar beräkningskunskap. Den centrala motivationen för den vetenskapliga metoden är allestädes närvarande fel - fenomenet att misstag och självbedrägeri kan smyga in absolut var som helst i processen att generera vetenskapliga rön, och att forskarens arbete främst handlar om att erkänna och utrota fel. Både induktiva och induktiva vetenskaper är felbenägna och har därför utvecklat standarder för spridning av resultat. I de avdragsgilla vetenskaperna är den formella uppfattningen om det matematiska beviset ett moget svar på allestädes närvarande fel. På samma sätt använder de empiriska vetenskaperna maskinerna hypotestestning, kontrollerade experiment och disciplinerad rapportering av data, material och metoder i ett standardformat i publicerade forskningsartiklar. I beräkningsvetenskaperna har Jon Claerbout, professor emeritus i geofysik vid Stanford University, banat väg för ett system för att koppla samman kod och data med slutuppsatsen eller avhandlingen och ge läsaren möjlighet att återskapa resultaten. Hans insikt är följande: " En artikel om beräkningsvetenskap i en vetenskaplig publikation är inte själva stipendiet, det är bara reklam för stipendiet. Det faktiska stipendiet är den kompletta programvaruutvecklingsmiljön och den kompletta uppsättningen instruktioner som genererade siffrorna" [2]. På så sätt finns den kod och de data som producerade beräkningsresultaten tillgängliga vid sidan av det publicerade dokumentet, vilket gör det möjligt för läsarna att verifiera och validera resultaten. I sitt forskningslabb implementerade Claerbout reproducerbar forskning genom publicering av reproducerbara figurer i doktorsavhandlingar. De insatser som var pionjärer av Claerbout var 978-1-4673-4466-1/12/$31.00 ©2012 IEEE
RunMyCode.org REF är molnbaserat verktyg för att påskynda processen för att reproducera resultat.
RunMyCode.org: A novel dissemination and collaboration platform for executing published computational results
{'venue': '2012 IEEE 8th International Conference on E-Science', 'journal': '2012 IEEE 8th International Conference on E-Science', 'mag_field_of_study': ['Computer Science']}