Detta papper presenterar OptNet, en nätverksarkitektur som integrerar optimeringsproblem (här, speciellt i form av kvadratiska program) som enskilda lager i större end-to-end utbildningsbara djupa nätverk. Dessa lager gör det möjligt att fånga komplexa beroenden mellan de dolda staterna som traditionella konvolutionella och fullt sammankopplade skikt inte kan fånga. I detta dokument utvecklar vi grunden för en sådan arkitektur: vi härleder ekvationer för att utföra exakt differentiering genom dessa lager och med avseende på lagerparametrar; vi utvecklar en mycket effektiv lösning för dessa lager som utnyttjar snabba GPU-baserade batch löser inom en primal-dual inre punkt metod, och som ger backpropagation gradienter med praktiskt taget ingen extra kostnad på toppen av lösningen; och vi belyser tillämpningen av dessa metoder i flera problem. I ett särskilt enastående exempel, visar vi att metoden är kapabel att lära sig att spela Sudoku ges bara inmatnings- och utgångsspel, utan en priori information om reglerna för spelet; denna uppgift är praktiskt taget omöjligt för andra neurala nätverk arkitekturer som vi har experimenterat med, och belyser representationskapaciteten i vårt tillvägagångssätt.
Nyligen arbete föreslår quadratic programmering som en generisk neural nätverk lager REF.
OptNet: Differentiable Optimization as a Layer in Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}