Fältet av stor kod förlitar sig på gruva stora corpora av kod för att utföra någon inlärning uppgift. Ett betydande hot mot denna strategi har nyligen identifierats av Lopes m.fl. [18] som hittade en stor mängd dupliceringskod på GitHub. Effekten av kod dubblering har dock inte uppmärksammats av forskare som utformar maskininlärning modeller för källkod. I denna artikel, vi undersöker effekten av kod dubblering på maskininlärning modeller visar att rapporterade mätvärden ibland uppblåst av upp till 100% när testning på duplicerad kod corpora jämfört med prestanda på de-duplicerade corpora som mer exakt representerar hur maskininlärning modeller av kod används av programvaruingenjörer. Vi presenterar en "errata" för allmänt använda dataset, listar bästa praxis för att samla in kodkorpora och utvärdera maskininlärningsmodeller på dem, och släpper verktyg för att hjälpa samhället att undvika detta problem i framtida forskning.
På samma sätt undersökte Allamanis de negativa effekterna av kod dubblering i maskininlärning modeller kod REF.
The Adverse Effects of Code Duplication in Machine Learning Models of Code
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}