Inom vetenskap och teknik utförs ofta intelligent bearbetning av komplexa signaler som bilder, ljud eller språk av en parameteriserad hierarki av icke-linjära bearbetningslager, ibland biologiskt inspirerade. Hierarkiska system (eller, mer allmänt, bosystem) erbjuder ett sätt att generera komplexa kartläggningar med hjälp av enkla steg. Varje lager utför en annan operation och uppnår en allt mer sofistikerad representation av inmatningen, som till exempel i ett djupt artificiellt neuralt nätverk, en objektigenkänning kaskade i datorseende eller en talfront-end bearbetning. Gemensam uppskattning av parametrarna för alla skikt och urval av en optimal arkitektur anses allmänt vara ett svårt numeriskt problem utan konvex optimering, svårt att parallellisera för utförande i en distribuerad beräkningsmiljö, och kräver betydande mänsklig expertinsats, vilket leder till suboptimala system i praktiken. Vi beskriver en allmän matematisk strategi för att lära sig parametrarna och, i viss mån, arkitekturen av bosystem, som kallas metoden för hjälpkoordinater (MAC). Detta ersätter det ursprungliga problemet med en djupt förankrad funktion med ett begränsat problem som inbegriper en annan funktion i ett utökat utrymme utan häckning. Det begränsade problemet kan lösas med straffbaserade metoder med hjälp av alternerande optimering över parametrarna och hjälpkoordinaterna. MAC har påvisbar konvergens, är lätt att implementera återanvändning av befintliga algoritmer för enskilda lager, kan parallelliseras trivialt och massivt, gäller även när parameterderivat inte är tillgängliga eller inte önskvärt, och är konkurrenskraftig med toppmoderna icke-linjära optimatorer även i den seriella beräkningsinställningen, ofta ger rimliga modeller inom några iterationer.
Carreira och Wang föreslog en metod för hjälpkoordinater (MAC) för att ersätta ett neuralt nätverk med ett begränsat problem utan häckning REF.
Distributed optimization of deeply nested systems
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}