Hittills, de flesta konvolutionella neurala nätverksarkitekturer utdata förutsägelser genom att platta 3: e-order aktivering tensorer, och tillämpa fullt anslutna utdatalager. Detta tillvägagångssätt har två nackdelar: i) vi förlorar rik, multimodal struktur under tillplattandet och ii) fullt anslutna skikt kräver många parametrar. Vi presenterar det första försöket att kringgå dessa frågor genom att uttrycka utgången av ett neuralt nätverk direkt som resultatet av en multilinjär kartläggning från en aktivering tensor till utgången. Genom att införa låga krav på regressionsspänningen kan vi effektivt lösa problem för vilka befintliga lösningar är dåligt parametriserade. Vårt föreslagna regressionsskikt ersätter tillplattande verksamhet och fullt sammankopplade lager genom att utnyttja multimodal struktur i data och uttrycka regressionsvikterna via en låg grad tensordekomposition. Dessutom kombinerar vi tensor regression med tensor kontraktion för att ytterligare öka effektiviteten. Förstärka VGG och ResNet arkitekturer, visar vi stora minskningar i antalet parametrar med försumbar påverkan på prestanda på ImageNet dataset.
Tensor regression lager REF uttrycker utgångar genom en låg-rank multi-lineär kartläggning från en högorder aktivering tensor till en output tensor av godtycklig ordning.
Tensor Regression Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}