Katastrofrisk glömmer uppstår när ett neuralt nätverk förlorar den information som lärts med den första uppgiften, efter utbildning på en andra uppgift. Detta problem är fortfarande ett hinder för allmänna artificiella intelligenssystem med sekventiell inlärningsförmåga. I detta dokument föreslår vi en uppgiftsbaserad mekanism för hård uppmärksamhet som bevarar tidigare uppgifters information utan att väsentligt påverka den nuvarande uppgiftens lärande. En uppmärksamhet mask lärs samtidigt till varje uppgift genom stokastisk lutning nedstigning, och tidigare masker utnyttjas för att begränsa sådan inlärning. Vi visar att den föreslagna mekanismen är effektiv för att minska den katastrofala glömskan och sänka de nuvarande skattesatserna med 33 till 84 procent. Vi visar också att den är robust mot olika hyperparameterval och att den erbjuder ett antal övervakningsmöjligheter. Tillvägagångssättet innehåller möjligheten att kontrollera både stabiliteten och kompaktiteten i den lärda kunskapen, vilket vi tror gör det också attraktivt för online-inlärning och nätverkskomprimeringsapplikationer.
I REF föreslogs en metod som använder sig av uppmärksamhetsmekanism för att bevara tidigare uppgifters prestanda.
Overcoming catastrophic forgetting with hard attention to the task
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}