Frank-Wolfe-metoden (även känd som Frank-Wolfe-metoden) villkorlig gradientalgoritm) för smidig optimering har återfått stort intresse under de senaste åren i samband med storskalig optimering och maskininlärning. En viktig fördel med metoden är att den undviker prognoser - beräknings flaskhalsen i många tillämpningar - ersätter den med ett linjärt optimeringssteg. Trots denna fördel ligger konvergensgraden för FW-metoden efter standardgradientmetoderna för de flesta ränteinställningar. Det är en aktiv linje av forskning för att härleda snabbare FW algoritmer för olika inställningar av konvex optimering. I detta papper anser vi att det speciella fallet med optimering över starkt konvexa uppsättningar, som vi bevisar att vanila FW metoden konvergerar med en hastighet av 1 t 2. Detta ger en fyrfaldig förbättring av konvergensen jämfört med det allmänna fallet, där konvergensen är av storleksordningen 1 t, och det är känt att den är stram. Vi visar att olika bollar inducerad av p-norms, Schatten normer och grupp normer är starkt konvexa å ena sidan och å andra sidan linjär optimering över dessa uppsättningar är enkel och medger en sluten-form lösning. Detta ger en familj av ansökningar, t.ex. linjär regression med regularisering, där FW algoritmen har både världar: en snabb konvergens takt och inga prognoser.
När både objektiv funktion och begränsningsuppsättningen är starkt konvexa, har REF visat att Frank-Wolfe algoritmen har en O(1/k 2 ) grad av konvergens med en korrekt vald stegstorlek.
Faster Rates for the Frank-Wolfe Method over Strongly-Convex Sets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}