Abstract-Properly benchmarking Automatiserade Program Repair (APR) system bör bidra till utvecklingen och antagandet av forskningsresultat av praktiker. I detta syfte måste forskarsamhället se till att det når viktiga milstolpar genom att på ett tillförlitligt sätt jämföra de senaste verktygen för en bättre förståelse av deras styrkor och svagheter. I detta arbete identifierar och undersöker vi en praktisk partiskhet som orsakas av felet lokalisering (FL) steg i en reparation pipeline. Vi föreslår att belysa de olika fel lokaliseringskonfigurationer som används i litteraturen, och deras inverkan på APR-system när de tillämpas på Defects4J-riktmärket. Sedan utforskar vi de prestandavariationer som kan uppnås genom att "tweaking" FL-steget. Så småningom förväntar vi oss att skapa en ny drivkraft för (1) fullständig offentliggörande av APR experimentella förfaranden med avseende på FL, (2) realistiska förväntningar på att reparera buggar i Defects4J, samt (3) tillförlitlig prestandajämförelse mellan state-of-theart APR-system, och mot baslinje resultat prestanda av vårt grundligt utvärderade kPAR reparationsverktyg. Våra huvudsakliga resultat inkluderar: (a) endast en delmängd av Defects4J buggar kan för närvarande lokaliseras genom allmänt använda FL-tekniker; (b) nuvarande praxis att jämföra toppmodern APR-system (dvs. räkna antalet fasta buggar) är potentiellt vilseledande på grund av fördomar av FL-konfigurationer; och (c) APR författare kvalificerar inte korrekt sin prestation med avseende på de olika inställning parametrar som genomförs i APR-system.
Som anges i en nyligen genomförd studie REF, fel lokalisering är en kritisk uppgift som påverkar effektiviteten av automatiserade program reparation.
You Cannot Fix What You Cannot Find! An Investigation of Fault Localization Bias in Benchmarking Automated Program Repair Systems
{'venue': '2019 12th IEEE Conference on Software Testing, Validation and Verification (ICST)', 'journal': '2019 12th IEEE Conference on Software Testing, Validation and Verification (ICST)', 'mag_field_of_study': ['Computer Science']}