Vi utforskar systematiskt legalisering av neurala nätverk genom att bestraffa distributioner med låg entropieffekt. Vi visar att bestraffande låg entropiproduktion distributioner, som har visat sig förbättra prospektering i förstärkning lärande, fungerar som en stark regularizer i övervakad lärande. Dessutom kopplar vi en maximal entropibaserad konfidenspåföljd till märkningsutjämning genom KL-divergensens riktning. Vi utvärderar uttömmande den föreslagna förtroendepåföljden och märkningen utjämning på 6 gemensamma riktmärken: bildklassificering (MNIST och Cifar-10), språkmodellering (Penn Treebank), maskinöversättning (WMT'14 engelska-till-tyska) och taligenkänning (TIMIT och WSJ). Vi finner att både märkning utjämning och förtroende straff förbättra state-of-the-art modeller över riktmärken utan att ändra befintliga hyperparametrar, tyder på den breda tillämpligheten av dessa regularizers.
På liknande sätt, Pereyra et al. I REF föreslogs att låg entropiprediktiv distribution skulle bestraffas, vilket förbättrade prospekteringen när det gäller att stärka lärandet och övervaka lärandet.
Regularizing Neural Networks by Penalizing Confident Output Distributions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}