Es ist vielleicht erwähnenswert, dass man statt mit partiellen Ableitungen mit Ableitungen als den linearen Transformationen arbeiten kann, die sie wirklich sind, und die Netzwerke auch strukturierter betrachten kann, wodurch klar wird, wie die grundlegenden Ideen von BPP auf viel allgemeinere Fälle anwendbar sind. Es sind mehrere Schritte erforderlich. 1.- Allgemeinere Verarbeitungseinheiten. Jede kontinuierlich differenzierbare Funktion von Eingaben und Gewichten reicht aus; diese Eingaben und Gewichte können über euklidische Räume hinaus zu jedem Hilbert-Raum gehören. Ableitungen sind lineare Transformationen und die Ableitung einer neuronalen Verarbeitungseinheit ist die direkte Summe ihrer partiellen Ableitungen in Bezug auf die Eingaben und in Bezug auf die Gewichte; dies ist eine lineare Transformation, ausgedrückt als Summe ihrer Beschränkungen auf ein Paar komplementärer Unterräume. 2.- Allgemeinere Schichten (beliebige Anzahl von Einheiten). Einzelne Einheitenschichten können einen Engpass erzeugen, der das gesamte Netzwerk unbrauchbar macht. Das Zusammenfassen mehrerer Einheiten in einer einzigen Schicht ist gleichbedeutend damit, ihr Produkt zu nehmen (als Funktionen im Sinne der Mengenlehre). Die Schichten sind Funktionen der Eingaben und der Gewichte der Gesamtheit der Einheiten. Die Ableitung einer Schicht ist dann das Produkt der Ableitungen der Einheiten; dies ist ein Produkt linearer Transformationen. 3.- Netzwerke mit beliebiger Anzahl von Schichten. Ein Netzwerk ist die Zusammensetzung (als Funktionen und im mengentheoretischen Sinne) seiner Schichten. Nach der Kettenregel ist die Ableitung des Netzwerks die Zusammensetzung der Ableitungen der Schichten; dies ist eine Zusammensetzung linearer Transformationen. 4.- Quadratischer Fehler einer Funktion. ...——-Da dieser Kommentar zu lang wird, werde ich hier aufhören. Der Punkt ist, dass ein sehr allgemeiner Standpunkt viele Aspekte von BPP verdeutlicht. Wenn Sie an der ganzen Geschichte interessiert sind und sich mit Hilbert-Räumen auskennen, googeln Sie bitte nach Artikeln, die sich mit Backpropagation in Hilbert-Räumen befassen. Ein verwandter Artikel mit Matrixformeln für Backpropagation auf semilinearen Netzwerken ist ebenfalls verfügbar. Um einen Einblick in einen völlig neuen Deep-Learning-Algorithmus zu erhalten, der um Größenordnungen effizienter, kontrollierbarer und schneller ist als BPP, suchen Sie auf dieser Plattform nach einem Video über Deep Learning ohne Backpropagation; in seiner Beschreibung finden Sie Links zu einer Demosoftware. Der neue Algorithmus basiert auf dem folgenden sehr allgemeinen und leistungsstarken Ergebnis (google it): Polyeder und Perceptronen sind funktional äquivalent. Die elementaren konzeptionellen Grundlagen von NNs finden Sie im Artikel Neural Network Formalism. Daniel Crespin####[]