Djupa neurala nätverk och beslut träd fungerar på till stor del separata paradigmer; typiskt, den förra utför representation lärande med förspecificerade arkitekturer, medan den senare kännetecknas av att lära hierarkier över fördefinierade funktioner med datadrivna arkitekturer. Vi förenar de två via adaptiva neurala träd (ANTs), en modell som innehåller representation lärande i kanter, routing funktioner och blad noder av ett beslut träd, tillsammans med en backpropagation-baserad träningsalgoritm som adaptivt växer arkitekturen från primitiva moduler (t.ex., konvolutionella lager). ANTs möjliggör ökad tolkningsbarhet via hierarkisk klusterbildning, t.ex. lära sig meningsfulla klassföreningar, såsom att separera naturliga vs. konstgjorda objekt. Vi demonstrerar detta på klassificering och regressionsuppgifter, uppnå över 99% och 90% noggrannhet på MNIST och CIFAR-10 dataset, och överträffa standard neurala nätverk, slumpmässiga skogar och lutning förstärkt träd på SARCOS dataset. Dessutom anpassar ANT-optimering arkitekturen naturligt till träningsdatas storlek och komplexitet.
I REF föreslås en ram för djupt lärande som bygger på att arkitekturen på ett anpassningsbart sätt växer från primitiva block medan representationen lär sig i kanter, routingfunktioner och bladknutor i ett beslutsträd.
Adaptive Neural Trees
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}