Uppmärksamhetsmekanismer i neurala nätverk har visat sig användbara för problem där ingång och utgång inte har fast dimension. Ofta finns det funktioner som är lokalt översättningsinvariant och skulle vara värdefullt för att styra modellens uppmärksamhet, men tidigare uppmärksamhet arkitekturer är inte konstruerade för att lära sig sådana funktioner specifikt. Vi introducerar ett uppmärksamhetsnätverk som använder konvolution på inmatningspolletterna för att upptäcka lokala tidsinvarianta och långdistans aktuella uppmärksamhetsfunktioner på ett sammanhangsberoende sätt. Vi tillämpar denna arkitektur på problemet med extrem sammanfattning av källkodsslippar i korta, beskrivande funktionsnamn-liknande sammanfattningar. Med hjälp av dessa funktioner genererar modellen sekventiellt en sammanfattning genom att marginalisera över två uppmärksamhetsmekanismer: en som förutspår nästa sammanfattning token baserat på uppmärksamhet vikter av inmatningspolletter och en annan som kan kopiera en kod token as-är direkt in i sammanfattningen. Vi visar vår konvolutionella uppmärksamhet neurala nätverkets prestanda på 10 populära Java projekt visar att det uppnår bättre prestanda jämfört med tidigare uppmärksamhetsmekanismer.
REF fokuserade främst på extrem sammanfattning av källkodssnippets i korta, beskrivande funktionsnamn-liknande sammanfattningar men vårt mål är att generera mänskliga läsbara kommentarer av kodsnippets.
A Convolutional Attention Network for Extreme Summarization of Source Code
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}