Neural arkitektursökning (NAS) hittar automatiskt den bästa uppgiftsspecifika neurala nätverk topologi, överträffar många manuella arkitektur design. Men det kan vara oöverkomligt dyrt eftersom sökningen kräver utbildning tusentals olika nätverk, medan var och en kan pågå i timmar. I detta arbete föreslår vi Graph HyperNetwork (GHN) för att amortera sökkostnaden: givet en arkitektur, genererar det direkt vikterna genom att köra slutledning på ett grafneuralt nätverk. GHNs modellerar topologin för en arkitektur och kan därför förutsäga nätverksprestanda mer exakt än vanliga hypernätverk och tidigt stopp. För att utföra NAS-enheter tar vi slumpmässigt prover på arkitekturer och använder valideringsnoggrannheten för nätverk med GHN-genererade vikter som surrogatsöksignal. GHNs är snabba -de kan söka nästan 10× snabbare än andra slumpmässiga sökmetoder på CIFAR-10 och ImageNet. GHNs kan utvidgas ytterligare till när som helst förutsägelse inställning, där de har hittat nätverk med bättre hastighet-noggrannhet kompromiss än den toppmoderna manuella konstruktioner.
Zhang m.fl. REF koda nätverket som en beräkningsgraf och använd en graf neurala nätverk för att förutsäga vikter.
Graph HyperNetworks for Neural Architecture Search
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}