Avstånd är genomträngande i maskininlärning. De fungerar som likhetsmått, förlustfunktioner och inlärningsmål; det sägs att ett bra avståndsmått löser en uppgift. När definiera avstånd, triangeln ojämlikhet har visat sig vara en användbar begränsning, både teoretiskt-för att bevisa konvergens och optimalitet garantier och empiriskt-som en induktiv fördomar. Djupa metriska lärande arkitekturer som respekterar triangeln ojämlikhet förlitar sig, nästan uteslutande, på Euclidean avstånd i latent utrymme. Även effektivt, detta misslyckas med att modellera två breda klasser av subadditiva avstånd, vanliga i grafer och förstärka lärande: asymmetriska mått, och mått som inte kan inbäddas i Euclidean utrymme. För att ta itu med dessa problem introducerar vi nya arkitekturer som garanterat kommer att tillfredsställa den triangellika ojämlikheten. Vi bevisar våra arkitekturer universellt ungefärliga norm-inducerade mätvärden på R n, och presentera ett liknande resultat för modifierade Input Convex Neural Networks. Vi visar att våra arkitekturer överträffar befintliga metriska tillvägagångssätt när man modellerar grafavstånd och har en bättre induktiv skevhet än icke-metriska tillvägagångssätt när träningsdata är begränsade i multi-mål förstärkning inlärningsmiljö. Publicerad som konferensbidrag på ICLR 2020 Blah Blah M1 (icke-negativitet). d(x, y) ≥ 0. M2 (Definitivitet). d(x, y) = 0  på x = y. M3 (Subadditionalitet). d(x, z) ≤ d(x, y) + d(y, z). M4 (symmetri). d(x, y) = d(y, x). Eftersom vi bryr oss mest om triangeln ojämlikhet (M3), vi slappna av andra axioms och definiera en kvasimetriska som en funktion som är M1 och M3, men inte nödvändigtvis M2 eller M4. Med tanke på viktad graf G = (V, E) med icke-negativa vikter definierar kortaste banlängder en kvasimetriska mellan hörn. När X är en vektorrymd (vi antar över R), många vanliga mått, t.ex. Euclidean och Manhattan avstånd, induceras av en norm. En norm är en funktion · : X → R tillfredsställande,  på x, y X, α  på R + : En asymmetrisk norm är N1-N3, men inte nödvändigtvis N4. En (asymmetrisk) seminorm är icke-negativ, N2 och N3 (och N4), men inte nödvändigtvis N1. Vi kommer att använda det faktum att alla asymmetriska semi-norm · inducerar en kvasi-metrisk med hjälp av regeln, d(x, y) = x − y, och först konstruera modeller av asymmetriska semi-norms. Alla inducerade kvasimetriska d är översättningsinvariant-d(x, y) = d(x + z, y + z)- och positiv homogen-d(αx, αy) = αd(x, y) för α ≥ 0. Om · är symmetriskt (N4), så är d (M4). Om · är N1, d är M2. Metrics som inte är översättning invariant (t.ex., Bi et al. (2015) ) eller positiv homogen (t.ex., våra Neural Metrics i Avsnitt 3) inte kan induceras av en norm. En konvex funktion f : X → R är en funktion som tillfredsställer C1:  påx, y på X, α på [0, 1]: f (αx+(1-α)y) ≤ αf (x) + (1 − α)f (y). Den vanliga ReLU-aktiveringen, relu(x) = max(0, x), är konvex. Det är lätt att se att alla N2- och N3-funktioner är konvexa, alla asymmetriska seminormer är konvexa. Detta motiverar modelleringsnormer som begränsade konvexa funktioner, med hjälp av följande förslag. Förslag 1. Alla positiva homogena konvexa funktioner är subadditiva, d.v.s.
I REF föreslås klasser av neurala nätverk att definiera pseudo-distanser som uppfyller triangeln ojämlikhet utan att nödvändigtvis vara symmetriska.
An Inductive Bias for Distances: Neural Nets that Respect the Triangle Inequality
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}