Med tanke på en konvex optimering problem och dess dubbla, det finns många möjliga första ordningen algoritmer. I den här artikeln visar vi ekvivalensen mellan spegelnedstigningsalgoritmer och algoritmer som generaliserar den villkorliga gradientmetoden. Detta görs genom konvex dualitet, och innebär särskilt att för vissa problem, såsom för övervakad maskininlärning problem med icke-smooth förluster eller problem som legaliseras av icke-smooth regularizers, den primära subgradienten metoden och den dubbla villkorade gradienten metoden är formellt likvärdiga. Den dubbla tolkningen leder till en form av linjesökning för spegling nedstigning, samt garantier för konvergens för primal-dual certifikat.
(Observera att även om en enhetlig initiering ofta krävs, det inte krävs i detta dokument.) REF visar ekvivalensen mellan spegelnedstigning och generaliserad villkorlig lutningsmetod, via konvex dualitet.
Duality between subgradient and conditional gradient methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}