Sequences har blivit första klassens medborgare i övervakad lärande tack vare återuppkomsten av återkommande neurala nätverk. Många komplexa uppgifter som kräver kartläggning från eller till en sekvens av observationer kan nu formuleras med sekvens-till-sekvens (seq2seq) ram som använder kedjeregeln för att effektivt representera den gemensamma sannolikheten för sekvenser. I många fall kan dock variabla ingångar och/eller utgångar inte uttryckas naturligt som sekvenser. Till exempel är det inte klart hur man matar in en uppsättning siffror i en modell där uppgiften är att sortera dem; på liknande sätt vet vi inte hur man organiserar utdata när de motsvarar slumpmässiga variabler och uppgiften är att modellera deras okända gemensamma sannolikhet. I det här dokumentet visar vi först med hjälp av olika exempel att den ordning i vilken vi organiserar indata och/eller utdata spelar en betydande roll när vi lär oss en underliggande modell. Vi diskuterar sedan en förlängning av ramen för öv 2seq som går längre än sekvenser och hanterar inmatningsuppsättningar på ett principfast sätt. Dessutom föreslår vi en förlust som, genom att söka över möjliga beställningar under utbildningen, behandlar bristen på struktur av outputset. Vi visar empiriska bevis på våra påståenden om beställning, och om ändringar i de följande 2seq ramverket om benchmarking språkmodellering och tolkning uppgifter, samt två artificiella uppgifter -sortering nummer och uppskattning av den gemensamma sannolikheten för okända grafiska modeller.
REF utrustar sekvens till sekvensmodeller med förmågan att hantera inmatnings- och utgångsuppsättningar, och diskutera experiment om sortering, språkmodellering och tolkning.
Order Matters: Sequence to sequence for sets
{'venue': 'ICLR 2016', 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}