Denna artikel avslöjar misslyckandet av några stora neurala nätverk för att utnyttja ytterligare kapacitet för att minska undermontering. Tidigare forskning tyder på minskande avkastning när öka storleken på neurala nätverk. Våra experiment på ImageNet LSVRC-2010 visar att detta kan bero på det faktum att det finns mycket minskande avkastning för kapacitet i form av utbildningsfel, vilket leder till underutrustning. Detta tyder på att optimeringsmetoden - första ordningens lutning nedstigning - misslyckas vid denna regim. Att direkt angripa detta problem, antingen genom optimeringsmetoden eller val av parametrisering, kan göra det möjligt att förbättra generaliseringsfelet på stora datauppsättningar, för vilka en stor kapacitet krävs.
På senare tid hävdar REF att stora neurala nätverk slösar kapacitet i den meningen att lägga till ytterligare enheter misslyckas med att minska undermontering på stora dataset.
Big Neural Networks Waste Capacity
{'venue': 'ICLR', 'journal': 'CoRR', 'mag_field_of_study': ['Mathematics', 'Computer Science']}