Tensorer erbjuder en naturlig representation för många typer av data som ofta förekommer i maskininlärning. Bilder, till exempel, är naturligt representerade som tredje ordningen tensorer, där lägen motsvarar höjd, bredd och kanaler. I synnerhet är tensor nedbrytningar kända för sin förmåga att upptäcka flerdimensionella beroenden och producera kompakta låg-rankade approximationer av data. I detta papper, vi utforskar användningen av tensor sammandragningar som neurala nätverk lager och undersöka flera sätt att tillämpa dem på aktivering tensorer. Speciellt föreslår vi Tensor Contraction Layer (TCL), det första försöket att införliva tensorer sammandragningar som end-to-end trainingable neurala nätverkslager. Tillämpas på befintliga nätverk, TCLs minskar dimensionaliteten av aktivering tensorer och därmed antalet modellparametrar. Vi utvärderar TCL om uppgiften att bildigenkänning, öka populära nätverk (AlexNet, VGG). De resulterande modellerna är utbildningsbara end-to-end. Vi utvärderar TCL: s prestanda på uppgiften att bildigenkänning, med hjälp av CIFAR100 och ImageNet dataset, studera effekten av parameterreduktion via tensor sammandragning på prestanda. Vi visar betydande modellkompression utan betydande påverkan på noggrannheten och, i vissa fall, förbättrad prestanda.
I REF föreslås spännskikt för att minska dimensionaliteten hos aktiverings tensorer samtidigt som deras multilinjära struktur bevaras.
Tensor Contraction Layers for Parsimonious Deep Nets
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)', 'mag_field_of_study': ['Mathematics', 'Computer Science']}