Binära neurala nätverk (BNN) har studerats i stor utsträckning eftersom de kör dramatiskt snabbare vid lägre minne och strömförbrukning än flyttalsnätverk, tack vare effektiviteten av bitoperationer. Nutida BNN vars vikter och aktiveringar är både enstaka bitar lider dock av allvarlig noggrannhetsnedbrytning. För att förstå varför undersöker vi representationsförmåga, snabbhet och partiskhet/variant av BNNs genom omfattande experiment. Vi drar slutsatsen att felet hos BNN främst orsakas av den inneboende instabiliteten (träningstid) och icke-robustness (tåg- och testtid). Inspirerad av denna undersökning föreslår vi Binary Ensemble Neural Network (BENN) som utnyttjar ensemblemetoder för att förbättra BNN:s prestanda med begränsade effektivitetskostnader. Medan ensembletekniker i stort sett har ansetts vara endast marginellt användbara för starka klassificeringar såsom djupa neurala nätverk, visar vår analys och experiment att de är naturligt en perfekt passform för att boosta BNNs. Vi finner att våra BENN, som är snabbare och mer robust än toppmoderna binära nätverk, till och med kan överträffa noggrannheten i det kompletta flytande nummernätverket med samma arkitektur.
BENN REF ensembler flera standard binära nätverk för att förbättra prestanda.
Binary Ensemble Neural Network: More Bits per Network or More Networks per Bit?
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}