Abstract-RES, en legaliserad stokastisk version av BroydenFletcher-Goldfarb-Shanno (BFGS) kvasi-Newton metod föreslås för att lösa konvexa optimeringsproblem med stokastiska mål. Användningen av stokastiska lutning nedstigningsalgoritmer är utbredd, men antalet iterationer som krävs för att approximera optimala argument kan vara oöverkomliga i högdimensionella problem. Tillämpning av andra ordningen metoder, å andra sidan, är ogenomförbar eftersom beräkning av objektiv funktion hessiska inverser ådrar sig alltför höga beräkningskostnader. BFGS ändrar lutning nedstigning genom att införa en hessisk approximationsmatris som beräknas från finita gradientskillnader. RES använder stokastiska lutningar i stället för deterministiska lutningar för båda, bestämning av nedstigningsriktningar och approximation av den objektiva funktionens krökning. Eftersom stokastiska lutningar kan beräknas till hanterbara beräkningskostnader är förnybara energikällor realiserbara och behåller de konvergensfördelar som dess deterministiska motparter har. Konvergensen visar att lägre och övre gränser på de hessiska egeinvärdena av urvalsfunktionerna är tillräckliga för att garantera konvergens till optimala argument. Numeriska experiment visar minskning av konvergenstiden i förhållande till stokastiska lutning nedstigningsalgoritmer och icke-regulariserade stokastiska versioner av BFGS. En tillämpning av förnybara energikällor på införandet av stödvektormaskiner utvecklas.
REF föreslog en legaliserad stokastisk BFGS-metod (RES) som ändrar BFGS närhetstillstånd.
RES: Regularized Stochastic BFGS Algorithm
{'venue': 'IEEE Transactions on Signal Processing', 'journal': 'IEEE Transactions on Signal Processing', 'mag_field_of_study': ['Mathematics', 'Computer Science']}