Detta dokument syftar till att jämföra olika legaliseringsstrategier för att ta itu med ett vanligt fenomen, svår övermontering, i inbäddning-baserade neurala nätverk för NLP. Vi valde två brett studerade neurala modeller och uppgifter som vår testbädd. Vi prövade flera ofta tillämpade eller nyligen föreslagna legaliseringsstrategier, inklusive bestraffande vikter (inbäddningar undantagna), bestraffande inbäddningar, återinbäddning ord, och avhopp. Vi betonade också på inkrementell hyperparameter tuning, och kombinerar olika legaliseringar. Resultaten ger en bild på stämhyperparametrar för neurala NLP-modeller.
I sitt eget arbete experimenterade REF med fyra legaliseringsmetoder: att bestraffa vikter (exklusive inbäddningar), att bestraffa inbäddningar, att lägga till ord och att hoppa av.
A Comparative Study on Regularization Strategies for Embedding-based Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}