I det här dokumentet presenteras den konvexa neurala nätverksarkitekturen. Dessa är skalära-värderade (potentiellt djupa) neurala nätverk med begränsningar på nätverksparametrarna sådan att utdata från nätverket är en konvex funktion av (vissa av) ingångarna. Nätverken möjliggör effektiv slutledning via optimering över vissa ingångar till nätverket givet andra, och kan tillämpas på inställningar inklusive strukturerad förutsägelse, dataimputation, förstärkning lärande, och andra. I detta dokument lägger vi den grundläggande grunden för dessa modeller, föreslår metoder för slutledning, optimering och lärande, och analyserar deras representationskraft. Vi visar att många befintliga neurala nätverksarkitekturer kan göras inputconvex med en mindre modifiering, och utveckla specialiserade optimeringsalgoritmer anpassade till denna inställning. Slutligen lyfter vi fram metodernas prestanda när det gäller flermärkta förutsägelser, bildkomplettering och förstärkande inlärningsproblem, där vi i många fall uppvisar förbättringar jämfört med den befintliga tekniken.
I REF, författarna identifiera konvexa problem för inference uppgift, när neurala nätverket är en konvex funktion av några av dess ingångar.
Input Convex Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}