Abstrakt. Behöver de konvolutionella nätverken verkligen en fast "feed-flow"-struktur? Tänk om ett nätverk, efter att ha identifierat begreppet bild på hög nivå, skulle kunna flytta sig direkt till ett lager som kan urskilja finkorniga skillnader? För närvarande skulle ett nätverk först behöva köra ibland hundratals mellanliggande skikt som specialiserat sig på icke-relaterade aspekter. I idealfallet, ju mer ett nätverk redan vet om en bild, desto bättre bör det vara på att bestämma vilket lager att beräkna nästa. I detta arbete föreslår vi konvolutionella nätverk med adaptiva inferensdiagram (ConvNet-AIG) som adaptivt definierar deras nätverk topologi som är beroende av indatabilden. Efter en hög nivå struktur som liknar restnät (ResNets), ConvNet-AIG bestämmer för varje ingång bild på flugan vilka lager som behövs. I experiment på ImageNet visar vi att ConvNet-AIG lär sig olika inference grafer för olika kategorier. Både ConvNet-AIG med 50 och 101 lager överträffar sin ResNet motsvarighet, medan du använder 20% respektive 33% mindre beräkningar. Genom att gruppera parametrar i lager för relaterade klasser och endast utföra relevanta lager, förbättrar ConvNet-AIG både effektivitet och övergripande klassificeringskvalitet. Slutligen studerar vi också effekten av adaptiva inferensdiagram på känsligheten för kontradiktoriska exempel. Vi observerar att ConvNet-AIG visar en högre robusthet än ResNets, som kompletterar andra kända försvarsmekanismer.
I REF föreslår författarna en metod för att bestämma de nödvändiga skikten för varje indatabild genom att uppskatta lagerrelevansen för urvalets komplexitet.
Convolutional Networks with Adaptive Computation Graphs.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}