Detta arbete tar itu med problemet med att karakterisera och förstå beslutsgränserna för neurala nätverk med bitvis linjära icke-linjäritet aktiveringar. Vi använder tropisk geometri, en ny utveckling inom området algebraisk geometri, för att karakterisera beslutsgränserna för ett enkelt neuralt nätverk av formen (Affine, ReLU, Affine). Vårt huvudsakliga fynd är att beslutsgränserna är en delmängd av en tropisk hyperyta, som är intimt relaterad till en polytop som bildas av konvexa skrov av två zonotopes. Generatorerna av dessa zonotopes är funktioner av neurala nätverksparametrar. Denna geometriska karakterisering ger nya perspektiv på tre uppgifter. Särskilt föreslår vi ett nytt tropiskt perspektiv på lotteribiljetthypotesen, där vi ser effekten av olika initieringar på den tropiska geometriska representationen av ett näts beslutsgränser. Dessutom använder vi denna karakterisering för att föreslå en ny uppsättning tropiska regularizers, som direkt behandlar beslut gränserna för ett nätverk. Vi undersöker användningen av dessa regularizers i neurala nätverk beskärning (genom att ta bort nätverksparametrar som inte bidrar till den tropiska geometriska representationen av beslutsgränserna) och i att generera kontrarimala ingångar attacker (genom att producera input perturbations som uttryckligen stör beslutsgränsernas geometri och slutligen ändra nätverkets förutsägelse).
I en nyligen genomförd studie införde författarna i REF en tropisk geometri som ett nytt perspektiv för att studera DNN:s beslutsgräns.
On the Decision Boundaries of Deep Neural Networks: A Tropical Geometry Perspective
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}