Kategoriska variabler är ett naturligt val för att representera diskret struktur i världen. Dock använder stokastiska neurala nätverk sällan kategoriska latenta variabler på grund av oförmågan att bakåtpropagate genom prover. I detta arbete presenterar vi en effektiv gradientskattning som ersätter det icke-differentierbara provet från en kategorisk distribution med ett differentierat prov från en ny Gumbel-Softmax-fördelning. Denna fördelning har den väsentliga egenskapen att den smidigt kan glödgas till en kategorisk fördelning. Vi visar att vår Gumbel-Softmax estimator överträffar state-of-the-art gradient estimatorer på strukturerad output förutsägelse och oövervakade generativa modellering uppgifter med kategoriska latenta variabler, och möjliggör stora uppfarter på semi-övervakad klassificering.
Gumbel-Softmax distribution är "en kontinuerlig distribution över simplex som kan approxima prover från en kategorisk distribution" REF.
Categorical Reparameterization with Gumbel-Softmax
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}