Vi introducerar Divnet, en flexibel teknik för att lära nätverk med olika neuroner. Divnet modellerar neuronal mångfald genom att placera en Determinantal Point Process (DPP) över neuroner i ett givet lager. Den använder denna DPP för att välja en delmängd av olika neuroner och sammansmälter därefter de redundanta neuronerna till de utvalda. Jämfört med tidigare tillvägagångssätt erbjuder Divnet en mer principfast, flexibel teknik för att fånga neuronal mångfald och därmed implicit genomdriva legalisering. Detta möjliggör effektiv automatisk inställning av nätverksarkitektur och leder till mindre nätverksstorlekar utan att skada prestandan. Dessutom, genom sitt fokus på mångfald och neuron Fusing, Divnet förblir kompatibel med andra förfaranden som försöker minska minnesavtryck av nätverk. Vi presenterar experimentella resultat för att bekräfta våra påståenden: för beskärning neurala nätverk, Divnet ses vara särskilt överlägsen konkurrerande metoder.
DIVNET antog Determinantal Point Process (DPP) för att genomdriva skillnader mellan enskilda neurala aktiveringar REF.
Diversity Networks: Neural Network Compression Using Determinantal Point Processes
{'venue': None, 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}