Sekvens-till-sekvens modeller är en kraftfull arbetshäst av NLP. De flesta varianter använder en softmax omvandling i både deras uppmärksamhetsmekanism och utdatalager, vilket leder till täta anpassningar och strikt positiva utdata sannolikheter. Denna densitet är slösaktig, vilket gör modeller mindre tolkningsbara och tilldela sannolikhet massa till många osannolika utgångar. I detta dokument föreslår vi glesa sekvens-till-sekvens modeller, rotade i en ny familj av α-entmax transformationer, som inkluderar softmax och sparsemax som särskilda fall, och är gles för alla α > 1. Vi tillhandahåller snabba algoritmer för att utvärdera dessa omvandlingar och deras gradienter, som skalar väl för stora ordförrådsstorlekar. Våra modeller kan producera glesa anpassningar och tilldela icke-noll sannolikhet till en kort lista över rimliga utgångar, ibland rendering stråle sökning exakt. Experiment på morfologisk böjning och maskinöversättning avslöjar konsekvent vinster över täta modeller.
Detta generaliserades av REF via deras α-entmax transformation, som tillämpades på sekvens-till-sekvens modeller för morfologisk böjning och maskinöversättning.