En central förmåga hos intelligenta system är förmågan att kontinuerligt bygga vidare på tidigare erfarenheter för att påskynda och förbättra inlärningen av nya uppgifter. Två distinkta forskningsparadigm har studerat denna fråga. Meta-learning ser detta problem som att lära sig en tidigare över modellparametrar som är möjliga för snabb anpassning på en ny uppgift, men vanligtvis antar uppsättningen uppgifter är tillgängliga tillsammans som en batch. Däremot, online (regretbaserad) lärande överväga en sekventiell inställning där problem avslöjas en efter en, men konventionellt träna bara en enda modell utan någon uppgiftsspecifik anpassning. Detta arbete introducerar en meta-lärandemiljö online, som förenar idéer från båda de tidigare nämnda paradigmerna för att bättre fånga andan och praktiken av ett kontinuerligt livslångt lärande. Vi föreslår följande metaledaralgoritm som utökar MAML algoritmen (Finn et al., 2017) till denna inställning. Teoretiskt ger detta arbete en O(log T ) ångergaranti med ytterligare en högre order jämnhet antagande (i jämförelse med standard online inställning). Vår experimentella utvärdering av tre olika storskaliga uppgifter tyder på att den föreslagna algoritmen avsevärt överträffar alternativ baserade på traditionella inlärningsmetoder online.
Dessutom utökade REF modellen-agnostic setup till online lärande fall genom att överväga en jämförelse som antar till nya uppgifter, och föreslog följa meta ledare metod som får en sublinjär ånger för konvex förlust funktioner.
Online Meta-Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}