Effektivt utföra konvolutionella neurala nät (CNN) är viktigt i många maskininlärning uppgifter. Eftersom kostnaden för att flytta ett ord av data, antingen mellan nivåer av en minneshierarki eller mellan processorer över ett nätverk, är mycket högre än kostnaden för en aritmetisk operation, minimera datarörelser är avgörande för prestandaoptimering. I detta dokument presenterar vi både nya nedre gränser för datarörelser som behövs för både konvolutionella och poolande skikt av CNN, och optimala sekventiella algoritmer som uppnår dessa nedre gränser. I de flesta vanliga fall, våra optimala algoritmer kan uppnå betydligt mer data återanvändning än matris multiplikation.
Demmel och Dinh REF ger lägre gränser för kommunikation för konvolutionella skikt och sekventiella algoritmer som uppnår dem.
Communication-Optimal Convolutional Neural Nets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}