Vi försöker förbättra djupa neurala nätverk genom att generalisera de pooling operationer som spelar en central roll i nuvarande arkitekturer. Vi bedriver en noggrann undersökning av metoder för att möjliggöra sammanslagning för att lära och anpassa sig till komplexa och varierande mönster. De två primära riktningarna ligger i 1) lära sig en pooling funktion via (två strategier) kombinera av max och genomsnittliga pooling, och 2) lära sig en pooling funktion i form av en träd-strukturerad fusion av pooling filter som själva lärt sig. I våra experiment varje generaliserad pooling verksamhet vi utforska förbättrar prestanda när den används i stället för genomsnitt eller max pooling. Vi demonstrerar experimentellt att den föreslagna pooling verksamheten ger en boost i invariance egenskaper i förhållande till konventionell pooling och ställa state of the art på flera allmänt antagna referensdataset; de är också lätta att genomföra, och kan tillämpas inom olika djupa neurala nätverk arkitekturer. Dessa fördelar kommer endast med en lätt ökning av de beräknade omkostnaderna under utbildningen och en mycket blygsam ökning av antalet modellparametrar.
REF experiment med inlärda och fasta kombinationer av medelvärde / max pooling och föreslår också att organisera resultaten av flera lokala filter i form av ett binärt träd för att lära sig parametrarna för att blanda dem.
Generalizing Pooling Functions in Convolutional Neural Networks: Mixed, Gated, and Tree
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}