Vi studerar problemet med att bygga generativa modeller av naturlig källkod (NSC), det vill säga källkod skriven och förstådd av människor. Vårt primära bidrag är att beskriva en familj av generativa modeller för NSC som har tre nyckelegenskaper: För det första innehåller de både sekventiell och hierarkisk struktur. För det andra lär vi oss en distribuerad representation av källkodselement. Slutligen integreras de nära med en kompilator, vilket gör det möjligt att utnyttja kompilatorns logik och abstraktioner när man bygger in strukturen i modellen. Vi utvecklar också en förlängning som inkluderar mer komplex struktur, förfina hur modellen genererar identifierare polletter baserat på vilka variabler som för närvarande är i omfattning. Våra modeller kan läras effektivt, och vi visar empiriskt att inklusive lämplig struktur avsevärt förbättrar modellerna, mätt med sannolikheten för att generera testprogram.
Maddison och Tarlow REF presenterar en generativ modell för källkod, som bygger på syntaktiska strukturer.
Structured Generative Models of Natural Source Code
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}