Vi utforskar systematiskt legalisering av neurala nätverk genom att bestraffa distributioner med låg entropieffekt. Vi visar att bestraffande låg entropiproduktion distributioner, som har visat sig förbättra prospektering i förstärkning lärande, fungerar som en stark regularizer i övervakad lärande. Dessutom kopplar vi en maximal entropibaserad konfidenspåföljd till märkningsutjämning genom KL-divergensens riktning. Vi utvärderar uttömmande den föreslagna förtroendepåföljden och märkningen utjämning på 6 gemensamma riktmärken: bildklassificering (MNIST och Cifar-10), språkmodellering (Penn Treebank), maskinöversättning (WMT'14 engelska-till-tyska) och taligenkänning (TIMIT och WSJ). Vi finner att både märkning utjämning och förtroende straff förbättra state-of-the-art modeller över riktmärken utan att ändra befintliga hyperparametrar, tyder på den breda tillämpligheten av dessa regularizers.
Gabriel och Al. REF utforskade legalisering av neurala nätverk genom att bestraffa låg entropi output distributioner.
Regularizing Neural Networks by Penalizing Confident Output Distributions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}