Vi introducerar Kronecker factored online Laplace approximation för att övervinna katastrofala glömska i neurala nätverk. Metoden är baserad i en Bayesian online lärande ram, där vi rekursivt approximativa den bakre efter varje uppgift med en Gaussian, vilket leder till en kvadratisk straff på förändringar i vikterna. Den Laplace approximationen kräver att beräkna hessianen runt ett läge, som är typiskt intractable för moderna arkitekturer. För att göra vår metod skalbar, vi utnyttja senaste blockdiagonal Kronecker faktoriserade approximationer till krökning. Vår algoritm uppnår över 90% testnoggrannhet över en sekvens av 50 momentiationer av den permuterade MNIST dataset, avsevärt överträffar relaterade metoder för att övervinna katastrofal glömska.
REF ersätter diagonal approximation av Laplace med en Kronecker factored metod, vilket leder till bättre osäkerhetsuppskattningar.
Online Structured Laplace Approximations For Overcoming Catastrophic Forgetting
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}