Konvolutionella neurala nätverk är kapabla att lära sig kraftfulla representationsutrymmen, som är nödvändiga för att hantera komplexa inlärningsuppgifter. Men på grund av den modellkapacitet som krävs för att fånga sådana representationer, är de ofta mottagliga för överutrustning och kräver därför korrekt legalisering för att generalisera väl. I detta papper visar vi att den enkla regulariseringstekniken för att slumpmässigt maskera ut kvadratområden av inmatning under träning, som vi kallar cutout, kan användas för att förbättra robustheten och övergripande prestanda av konvolutionella neurala nätverk. Denna metod är inte bara extremt enkel att implementera, utan vi visar också att den kan användas tillsammans med befintliga former av dataförstärkning och andra regularizers för att ytterligare förbättra modellens prestanda. Vi utvärderar denna metod genom att tillämpa den på aktuella toppmoderna arkitekturer på CIFAR-10-, CIFAR-100- och SVHN-datauppsättningar, vilket ger nya toppmoderna resultat utan några extra beräkningskostnader. Vi visar också förbättrad prestanda i lågdatasystemet på STL-10-datasetet.
DeVries m.fl. REF förbättrar legalisering av nätverk genom att maskera ut fyrkantig region av utbildningsbilder.
Improved Regularization of Convolutional Neural Networks with Cutout
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}