Konstruera linjära lager i neurala nätverk för att respektera symmetri transformationer från en grupp G är en vanlig designprincip för invarianta nätverk som har funnit många tillämpningar i maskininlärning. I detta dokument tar vi upp en grundläggande fråga som hittills inte har uppmärksammats så mycket: Kan dessa nätverk närma sig någon (kontinuerlig) invariantfunktion? Vi tar itu med det ganska allmänna fallet där G ≤ S n (en godtycklig undergrupp i den symmetriska gruppen) som agerar på R n genom permutationskoordinater. Denna inställning inkluderar flera nyligen populära invarianta nätverk. Vi presenterar två huvudresultat: För det första är G-invarianta nätverk universella om högorder tensorer är tillåtna. För det andra finns det grupper G för vilka högre ordning tensorer är oundvikliga för att uppnå universalitet. G-invarianta nätverk som endast består av första ordningen tensorer är av särskilt intresse på grund av deras praktiska värde. Vi avslutar dokumentet med att bevisa ett nödvändigt villkor för universaliteten av G-invarianta nätverk som endast innehåller första ordningen tensorer. Slutligen föreslår vi ett antagande om att detta villkor också är tillräckligt.
REF visade att högorder tensorer är tillräckliga och nödvändiga för universella invarianta nät.
On the Universality of Invariant Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}