Gradientbaserade meta-lärandetekniker är både allmänt tillämpliga och skickliga på att lösa utmanande inlärningsproblem och snabba anpassningsproblem. De har dock praktiska svårigheter när de arbetar på högdimensionella parameterutrymmen i extremt låga datasystem. Vi visar att det är möjligt att kringgå dessa begränsningar genom att lära sig en databeroende latent generativ representation av modellparametrar, och utföra gradientbaserad meta-lärande i detta lågdimensionella latenta utrymme. Det resulterande tillvägagångssättet, latent inbäddningsoptimering (LEO), frikopplar den lutningsbaserade anpassningsprocessen från det underliggande högdimensionella utrymmet för modellparametrar. Vår utvärdering visar att LEO kan uppnå state-of-the-art prestanda på den konkurrenskraftiga miniImageNet och nivåedImageNet få-shot klassificering uppgifter. Ytterligare analys indikerar att LEO kan fånga osäkerhet i data, och kan utföra anpassning mer effektivt genom att optimera i latent utrymme.
En annan metainlärningsmetod REF föreslår att man använder en latent generativ representation av modellparametrar, som kan ses som en beteendemässig inbäddning av policyn.
LATENT EMBEDDING OPTIMIZATION