Vi introducerar en ny neural arkitektur för att lära sig den villkorliga sannolikheten för en utgångssekvens med element som är diskreta polletter som motsvarar positioner i en ingångssekvens. Sådana problem kan inte hanteras trivialt genom befintliga metoder som sekvens-till-sekvens [1] och Neural Turing Machines [2], eftersom antalet målklasser i varje steg av produktionen beror på längden på indata, som är variabel. Problem såsom sortering varierande storlek sekvenser, och olika kombinatoriska optimeringsproblem tillhör denna klass. Vår modell löser problemet med variabel storlek utgående ordböcker med hjälp av en nyligen föreslagna mekanism för neural uppmärksamhet. Det skiljer sig från tidigare uppmärksamhet försök i att, i stället för att använda uppmärksamhet för att blanda dolda enheter av en kodare till en kontext vektor vid varje dekoder steg, det använder uppmärksamhet som en pekare för att välja en medlem av inmatningssekvensen som utgång. Vi kallar denna arkitektur för Pointer Net (Ptr-Net). Vi visar Ptr-Nets kan användas för att lära sig ungefärliga lösningar på tre utmanande geometriska problem - att hitta planar konvexa skrov, att beräkna Delaunay triangulations, och planar Travelling Salesman Problem - med hjälp av utbildningsexempel ensam. Ptr-Nets inte bara förbättra över sekvens-till-sekvens med indata uppmärksamhet, men också tillåta oss att generalisera till variabel storlek utdata ordböcker. Vi visar att de lärda modellerna generaliseras utöver de maximala längder de utbildats på. Vi hoppas att våra resultat av dessa uppgifter kommer att uppmuntra en bredare undersökning av neuralt lärande för diskreta problem.
REF föreslagna pointer-nätverk, som syftar till kombinatoriska optimeringsproblem där utdatalexikonets storlek beror på antalet indataelement.
Pointer Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}