I neural arkitektur sökning (NAS), är utrymmet för neurala nätverk arkitekturer automatiskt utforskas för att maximera prediktiv noggrannhet för en given uppgift. Trots framgången med de senaste tillvägagångssätten kan de flesta befintliga metoder inte direkt tillämpas på storskaliga problem på grund av deras oöverkomliga beräknings komplexitet eller hög minnesanvändning. I detta arbete föreslår vi en probabilistisk strategi för neural ARchitecture SEarCh (PARSEC) som drastiskt minskar minneskraven samtidigt som den toppmoderna computational komplexitet, vilket gör det möjligt att direkt söka över mer komplexa arkitekturer och större datauppsättningar. Vårt tillvägagångssätt kräver bara så mycket minne som behövs för att träna en enda arkitektur från vårt sökområde. Detta beror på ett minneseffektivt provtagningsförfarande där vi lär oss en sannolikhetsfördelning över högpresterande neurala nätverksarkitekturer. Detta ramverk gör det möjligt för oss att överföra distributionen av inlärda arkitekturer om mindre problem till större, vilket ytterligare minskar beräkningskostnaderna. Vi visar upp fördelarna med vårt tillvägagångssätt i applikationerna CIFAR-10 och ImageNet, där vårt tillvägagångssätt överträffar metoder med dubbla sina beräkningskostnader och matchar metodernas prestanda med kostnader som är tre storleksordningar större.
Det mest liknande tillvägagångssättet till vår är Probabilistic Neural Architecture Search (PARSEC) REF.
Probabilistic Neural Architecture Search
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}