Att lära sig bärbara neurala nätverk är mycket viktigt för datorseende för att pre-tränade tunga djupa modeller kan väl tillämpas på kantenheter såsom mobiltelefoner och mikrosensorer. De flesta befintliga djup neurala nätverk kompression och speed-up metoder är mycket effektiva för att träna kompakta djupa modeller, när vi kan komma direkt åt träningsdatasetet. Utbildningsdata för det givna djupa nätverket är dock ofta inte tillgängliga på grund av vissa praktiska problem (t.ex. sekretess, juridisk fråga, och överföring), och arkitekturen i det givna nätverket är också okända utom vissa gränssnitt. I detta syfte föreslår vi en ny ram för utbildning av effektiva djupa neurala nätverk genom att utnyttja generativa kontradiktoriska nätverk (GAN). För att vara specifik betraktas de förutbildade lärarnätverken som en fast diskriminator och generatorn används för att härleda träningsprover som kan få maximal respons på diskriminatorn. Därefter tränas ett effektivt nätverk med mindre modellstorlek och beräknings komplexitet med hjälp av genererade data och lärarnätverket, samtidigt. Effektiva studentnätverk inlärda med den föreslagna Data-Free Learning (DFL) metoden uppnå 92,22% och 74,47% noggrannhet utan någon utbildning data på CIFAR-10 respektive CIFAR-100 dataset, respektive. Samtidigt får vårt studentnätverk en noggrannhet på 80.56% på CelebA-riktmärket.
Chen och Al. REF utbildade ett nytt generatornätverk för bildgenerering samtidigt som lärarnätverket behandlades som en fast diskriminator.
Data-Free Learning of Student Networks
{'venue': 'ICCV 2019', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}