Medan villkorade språkmodeller har förbättrats avsevärt i sin förmåga att producera högkvalitativa naturligt språk, många NLP-tillämpningar har nytta av att kunna generera en rad olika kandidatsekvenser. Olika avkodningsstrategier syftar till att, inom en given kandidatlista, täcka så mycket av utrymmet för högkvalitativa resultat som möjligt, vilket leder till förbättringar för uppgifter som omvärderar och kombinerar kandidatutgångar. Standard avkodningsmetoder, såsom strålsökning, optimerar för att generera hög sannolikhet sekvenser snarare än olika, även om det senaste arbetet har fokuserat på att öka mångfalden i dessa metoder. I detta arbete genomför vi en omfattande kartläggning av avkodningstidsstrategier för att generera olika resultat från villkorade språkmodeller. Vi visar också hur mångfald kan förbättras utan att offra kvalitet genom att översampla ytterligare kandidater och sedan filtrera till önskat antal.
Ref jämför flera metoder för att producera en uppsättning olika resultat från villkorade språkmodeller.
Comparison of Diverse Decoding Methods from Conditional Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}