Vi betraktar generaliserade linjära modeller där en okänd n-dimensionell signalvektor observeras genom successiv tillämpning av en slumpmässig matris och en icke-linjär (eventuellt probabilistisk) komponentvis funktion. Vi betraktar modellerna i den högdimensionella gränsen, där observationen består av m-punkter, och m/n → α där α förblir ändlig i gränsen m, n → ∞. Denna situation är allmänt förekommande i tillämpningar som sträcker sig från övervakad maskininlärning till signalbehandling. En betydande mängd arbete tyder på att både slutsatser och inlärningsuppgifter i dessa problem har skarpa inneboende begränsningar när de tillgängliga uppgifterna blir för knappa eller för bullriga. Här ger vi rigorösa asymptotiska förutsägelser för dessa tröskelvärden genom bevis på ett enkelt uttryck för den ömsesidiga informationen mellan observationerna och signalen. Tack vare detta uttryck får vi också som en följd det optimala värdet av generaliseringsfelet i många statistiska inlärningsmodeller av intresse, såsom lärar-student binära perceptron, och introducerar flera nya modeller med ommarquable egenskaper. Vi beräknar dessa trösklar (eller "fasövergångar") med hjälp av idéer från statistisk fysik som förvandlas till rigorösa metoder tack vare en ny kraftfull smart-path interpolation teknik som kallas stokastisk interpolation metod, som nyligen har införts av två av författarna. Dessutom visar vi att en polynom-tidsalgoritm som refereras till som generaliserad ungefärlig meddelande-passing når optimal generalisering prestanda för en stor uppsättning parametrar i dessa problem. Våra resultat klargör de svårigheter och utmaningar man har att möta när man löser komplexa högdimensionella statistiska problem. Författare bidrag: J. Barbier, N. Macris och L. Miolane utformade bevis för informationen teoretiska resultat, nämligen replika formel och de optimala fel. F. Krzakala och L. Zdeborová fick algoritmiska och optimala fasövergångar. Alla författare deltog i pappersreaktionen.
Den teoretiska delen av denna uppsats presenteras för en generalisering av perceptronmodellen, speciellt för den slumpmässiga läraren-studenten Generalized Linear Models (GLM), se t.ex. Hoppa över det.
Optimal Errors and Phase Transitions in High-Dimensional Generalized Linear Models
{'venue': 'Proceedings of the National Academy of Sciences 116. 12 (2019): 5451-5460', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine', 'Physics', 'Mathematics']}