I detta dokument undersöks kopplingarna mellan två toppmoderna klassificeringar: beslutsskogar (DF, inklusive beslutsdjungler) och konvolutionella neurala nätverk (CNN). Beslut skog är beräkningseffektiv tack vare deras villkorliga beräkning egendom (beräkning är begränsad till endast en liten region av trädet, noderna längs en enda gren). CNN:er uppnår toppmodern noggrannhet tack vare sin förmåga till representationsinlärning. Vi presenterar en systematisk analys av hur man sammanställer villkorlig beräkning med representationsinlärning och uppnår en kontinuum av hybridmodeller med olika proportioner av noggrannhet vs effektivitet. Vi kallar denna nya familj av hybridmodeller villkorliga nätverk. Villkorliga nätverk kan betraktas som: i) beslut träd förstärkt med data transformation operatörer, eller ii) CNNs, med block-diagonal gles vikt matriser, och explicita data routing funktioner. Experimentell validering utförs på den gemensamma uppgiften bildklassificering på både CIFAR- och Imagenetdataset. Jämfört med toppmoderna CNN ger våra hybridmodeller samma noggrannhet med en bråkdel av beräkningskostnaden och mycket mindre antal parametrar.
Det villkorade nätverk som föreslås i REF sparifierade CNN-arkitekturer genom att fördela beräkningar på hierarkiska strukturer baserade på riktade acykliska grafer med MLP-baserade routrar, och utformade modeller med samma noggrannhet med minskad beräkningskostnad och antal parametrar.
Decision Forests, Convolutional Networks and the Models in-Between
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}