Djupt lärande med hjälp av konvolutionella neurala nätverk (CNNs) blir snabbt state-of-the-art för utmanande datorseende applikationer. Djupinlärningens energiförbrukning och bandbreddskrav begränsar dock för närvarande dess tillämpning i inbyggda och mobila system med snäva energibudgetar. I den här artikeln utforskar vi energibesparingarna för optisk beräkning av det första skiktet av CNN. För att göra det använder vi bioinspirerade vinkelkänsliga pixels (ASPs), anpassade CMOS diffraktiva bildsensorer som fungerar liknande Gabor filterbanker i V1-skiktet av den mänskliga visuella cortex. ASP ersätter både bildavkänning och det första skiktet i ett konventionellt CNN genom att direkt utföra optisk kantfiltrering, spara energi, databandbredd och CNN FLOPS för att beräkna. Våra experimentella resultat (både på syntetisk data och en maskinvaruprototyp) för en mängd olika visionsuppgifter såsom igenkänning av siffror, objektigenkänning och ansiktsidentifiering visar upp till 90% minskning av bildsensorns strömförbrukning och 90% minskning av databandbredden från sensor till CPU, samtidigt som vi uppnår liknande prestanda jämfört med traditionella djupinlärningspipelines.
För avvägningar mellan energi och visuell igenkänning noggrannhet, nyligen föreslagna arbete optiskt beräkna det första lagret av konvolutionella neurala nätverk med vinkelkänsliga Pixels REF.
ASP Vision: Optically Computing the First Layer of Convolutional Neural Networks Using Angle Sensitive Pixels
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}