Att lära sig neurala nätverksarkitekturer är ett sätt att upptäcka nya mycket prediktiva modeller. Vi föreslår att fokusera på detta problem ur ett annat perspektiv där målet är att upptäcka arkitekturer som är effektiva både vad gäller förutsägelsekvalitet och beräkningskostnader, t.ex. tid i millisekunder, antal operationer... Till exempel kan vårt arbetssätt lösa följande uppgift: hitta den bästa neurala nätverksarkitekturen (i en mycket stor uppsättning möjliga arkitekturer) som kan förutsäga väl på mindre än 100 millisekunder på min mobiltelefon. Vårt bidrag är baserat på en ny familj av modeller som kallas Budgeted Super Networks och som lärs ut med hjälp av förstärkningsinlärningsinspirerade tekniker som tillämpas på en budgeterad inlärningsobjektfunktion som inkluderar beräkningskostnaden under disk-/minnesoperationer vid inferens. Vi presenterar en uppsättning experiment på datorseende problem och visar förmågan hos vår metod att upptäcka effektiva arkitekturer i termer av både prediktiv kvalitet och beräkningstid.
Nyligen införde REF Budgeted Super Networks som är inspirerade av REINFORCE algoritmen med en objektiv funktion som maximerar förutsägelsekvalitet och beräkningskostnader samtidigt.
Learning Time-Efficient Deep Architectures with Budgeted Super Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}