Hyperparameteroptimering kan formuleras som ett tvånivåoptimeringsproblem, där de optimala parametrarna på träningssetet beror på hyperparametrarna. Vi strävar efter att anpassa regulariseringshyperparametrar för neurala nätverk genom att montera kompakta approximationer till den bäst-respons funktion, som kartlägger hyperparametrar till optimala vikter och fördomar. Vi visar hur man konstruerar skalbara approximationer för bästa respons för neurala nätverk genom att modellera den bästa responsen som ett enda nätverk vars dolda enheter är instängda villkorat på regularizern. Vi motiverar denna approximation genom att visa den exakta bästa responsen för ett grunt linjärt nätverk med L 2 -regulariserade Jacobian kan representeras av en liknande gating mekanism. Vi passar denna modell med hjälp av en lutningsbaserad hyperparameteroptimeringsalgoritm som växlar mellan att approximera den bästa responsen runt den aktuella hyperparametern och optimera hyperparametrarna med hjälp av den ungefärliga bästa responsfunktionen. Till skillnad från andra gradientbaserade tillvägagångssätt behöver vi inte differentiera träningsförlusten med avseende på hyperparametrarna, vilket gör att vi kan justera diskreta hyperparametrar, dataförstoringshyperparametrar, och avhoppsannolikheterna. Eftersom hyperparametrarna är anpassade online, upptäcker vi hyperparameterscheman som kan överträffa fasta hyperparametervärden. Empiriskt överträffar vårt tillvägagångssätt konkurrerande hyperparameteroptimeringsmetoder på storskaliga djupinlärningsproblem. Vi kallar våra nätverk, som uppdaterar sina egna hyperparametrar online under utbildning, SelfTuning Networks (STNs).
Mer nyligen, MacKay et al. REF använder hypernätverk för att approximera de optimala modellvikterna som en funktion av regulariseringshyperparametrarna.
Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}