Parametriska modeller, och särskilt neurala nätverk, kräver vikt initialisering som en utgångspunkt för gradient-baserad optimering. I de flesta nuvarande praxis, Detta uppnås genom att använda någon form av slumpmässig initiering. I stället visar det senaste arbetet att en specifik inledande parameteruppsättning kan läras från en population av uppgifter, dvs. datauppsättning och målvariabel för övervakade inlärningsuppgifter. Med hjälp av denna inledande parameter uppsättning leder till snabbare konvergens för nya uppgifter (modell-agnostic meta-learning). För närvarande, metoder för inlärning modell initialiseringar är begränsade till en population av uppgifter som delar samma schema, dvs. samma antal, ordning, typ och semantik av prediktor och målvariabler. I detta dokument tar vi upp problemet med meta-lärande parameter initialisering över uppgifter med olika scheman, dvs. om antalet prediktorer varierar mellan uppgifter, medan de fortfarande delar vissa variabler. Vi föreslår Chameleon, en modell som lär sig att anpassa olika prediktorscheman till en gemensam representation. Vi använder permutationer och masker av förutsägarna av de träningsuppgifter som finns till hands. I experiment på verkliga datauppsättningar, visar vi att Chameleon framgångsrikt kan lära parameter initialiseringar över uppgifter med olika scheman ger en 26% lyft på noggrannhet i genomsnitt över slumpmässig initialisering och av 5% över en state-of-the-art metod för fast schema lärande modell initialiseringar. Såvitt vi vet är vår uppsats det första arbetet med problemet med inlärningsmodellens initiering över uppgifter med olika scheman.
Arbetet av Brinkmeyer och Drumond et al., Chameleon REF, inriktar sig på problemet med meta-lärande uppgifter med en variabel inmatningsschema.
Chameleon: Learning Model Initializations Across Tasks With Different Schemas
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}