Djupt lärande metoder uppnå stor framgång nyligen på många datorseende problem. Trots dessa praktiska framgångar är optimeringen av de djupa nätverken fortfarande ett aktivt ämne i djupinlärningsforskningen. I detta arbete fokuserar vi på att undersöka de nätverkslösningsegenskaper som potentiellt kan leda till god prestanda. Vår forskning är inspirerad av teoretiska och empiriska resultat som använder ortogonala matriser för att initiera nätverk, men vi är intresserade av att undersöka hur ortogonala viktmatriser fungerar när nätverksträningen konvergerar. I detta syfte föreslår vi att vi begränsar lösningarna av viktmatriser i den ortogonala möjliga uppsättningen under hela processen för nätverksträning, och uppnå detta genom en enkel men effektiv metod som kallas Singular Value Bounding (SVB). I SVB, alla singular värden av varje viktmatris är helt enkelt avgränsade i ett smalt band runt värdet av 1. Baserat på samma motivation, föreslår vi också Bounded Batch Normalization (BBN), som förbättrar Batch Normalization genom att ta bort sin potentiella risk för dåligt konditionerade lagertransform. Vi presenterar både teoretiska och empiriska resultat för att motivera våra föreslagna metoder. Experiment på benchmarking bildklassificeringsdata visar effekten av våra föreslagna SVB och BBN. Framför allt uppnår vi de senaste resultaten på 3,06 % felfrekvens på CIFAR10 och 16,90 % på CIFAR100, med hjälp av off-the-shelf-nätverksarkitekturer (Wide ResNets). Våra preliminära resultat på ImageNet visar också löftet i storskaligt lärande. Vi släpper implementeringskoden för våra metoder på www.aperture-lab.net/research/svb.
Ett relaterat arbete REF antog en Singular Value Bounding (SVB) metod, genom att uttryckligen tröskelera de singular värden för viktmatriser mellan en förspecificerad smal band runt värdet av en.
Improving Training of Deep Neural Networks via Singular Value Bounding
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}