En central fråga i statistisk inlärning är att designa algoritmer som inte bara presterar bra på träningsdata, utan också generaliserar till nya och osynliga data. I detta dokument tar vi itu med denna fråga genom att formulera ett distributionsmässigt robust stokastiskt optimeringsproblem (DRSO), som söker en lösning som minimerar den värsta förväntade förlusten över en familj av distributioner som är nära den empiriska fördelningen i Wasserstein avstånd. Vi etablerar ett samband mellan sådana Wasserstein DRSO och legalisering. Mer exakt identifierar vi en bred klass av förlustfunktioner, för vilka Wasserstein DRSO är asymptotiskt ekvivalent med ett legaliseringsproblem med en lutning-norm straff. Ett sådant förhållande ger nya tolkningar för problem med legalisering, inklusive ett stort antal statistiska inlärningsproblem och diskreta urvalsmodeller (t.ex. multinomial loggning). Anslutningen föreslår också ett principiellt sätt att regularisera högdimensionella, icke-konvexa problem, som demonstreras utbildning av Wasserstein generativa kontrariska nätverk (WGN) i djupt lärande.
Wasserstein distributionsmässigt robust stokastisk optimering har varit relaterad till legalisering av vissa empiriska gradientnormer REF.
Distributional Robustness and Regularization in Statistical Learning