Varial autoencoders (VAEs) med en autoregressiv dekoder har tillämpats för många naturliga språk bearbetning (NLP) uppgifter. VEA-målet består av två termer, i) rekonstruktion och ii) KL-reglering, som balanseras av en viktning av hyperparametern β. En ökänd övningssvårigheter är att KL-termen tenderar att försvinna. I detta papper studerar vi schemaläggning för β, och visar att KL försvinner orsakas av bristen på goda latenta koder i utbildning av dekoder i början av optimering. För att avhjälpa detta föreslår vi ett cykliskt glödningsschema, som upprepar processen att öka β flera gånger. Detta nya förfarande gör det möjligt att gradvis lära sig mer meningsfulla latenta koder, genom att utnyttja de informativa representationerna av tidigare cykler som varma omstarter. Effektiviteten av cyklisk glödgning valideras på ett brett spektrum av NLP-uppgifter, inklusive språkmodellering, dialogsvarsgenerering och oövervakad språkförutbildning.
Senast, REF föreslog cyklisk glödning schema, som upprepar glödningsprocessen flera gånger för att hjälpa optimering för att undkomma dåliga lokala minima.
Cyclical Annealing Schedule: A Simple Approach to Mitigating KL Vanishing
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Materials Science', 'Mathematics']}