När man utbildar parametrarna för ett naturligt språksystem, skulle man föredra att minimera 1-bästa förlust (terror) på en utvärderingsuppsättning. Eftersom felytan för många naturliga språkproblem är bitvis konstant och full av lokala minima optimerar många system istället log-likelihood, som är bekvämt differentiable och konvex. Vi föreslår istället träning för att minimera den förväntade förlusten, eller risken. Vi definierar denna förväntan med hjälp av en sannolikhetsfördelning över hypoteser som vi gradvis skärper (anneal) för att fokusera på den 1-bästa hypotesen. Förutom de linjära förlustfunktioner som använts i tidigare arbete beskriver vi även tekniker för optimering av ickelinjära funktioner såsom precision eller BLEU-måttet. Vi presenterar experiment utbildning log-linear kombinationer av modeller för beroende tolkning och för maskinöversättning. I maskinöversättning uppnår glödgad minimirisk utbildning betydande förbättringar i BLEU jämfört med standard minimifel utbildning. Vi visar också på förbättringar när det gäller att tolka beroendet.
Deterministisk Annealing föreslogs av REF där författarna föreslår att minimera den förväntade förlusten eller risken.
Minimum Risk Annealing For Training Log-Linear Models
{'venue': 'International Conference On Computational Linguistics And Annual Meeting Of The Association For Computational Linguistics - Poster Sessions', 'journal': None, 'mag_field_of_study': ['Computer Science']}