🧠 Neuronale Netze

Das Perzeptron

Die Urzelle des neuronalen Netzes — gewichtete Summe + Aktivierung = ein einfacher Klassifikator.

Das einfachste Neuron

Ein Perzeptron ist die mathematische Modellierung eines einzelnen Neurons — vorgestellt 1958 von Frank Rosenblatt. Es nimmt $n$ Inputs entgegen, gewichtet sie, summiert und entscheidet binär.

Vollständige Definition

\hat{y} = \text{step}\bigg( \sum_{i=1}^{n} w_i x_i + b \bigg)

Mit der Step-Funktion: $\text{step}(z) = 1$ falls $z \geq 0$ , sonst $0$ .

Die drei Komponenten

1. Gewichtung

Gewichtete Summe

Jeder Input $x_i$ bekommt ein Gewicht $w_i$ , das seine Wichtigkeit ausdrückt. Plus ein Bias $b$ :

z = w_1 x_1 + \dots + w_n x_n + b

2. Schwelle

Aktivierung

Die Step-Funktion war die ursprüngliche Wahl, ist aber nicht differenzierbar. Heute nimmt man Sigmoid, ReLU oder Tanh — siehe nächste Sektion.

3. Anpassung

Lern-Update

Bei einem Fehler werden die Gewichte angepasst:

w_i \leftarrow w_i + \alpha \cdot (y - \hat{y}) \cdot x_i

mit $\alpha$ als Lernrate.

Was kann ein einzelnes Perzeptron?

Es kann linear separierbare Probleme lösen — z.B. das logische AND oder OR:

Beispiel: AND

Linear separierbar

\text{AND}(x_1, x_2) = \text{step}(x_1 + x_2 - 1{,}5)

Funktioniert, weil die Eins-Ausgabe (1,1) sauber durch eine Gerade von den drei Null-Ausgaben getrennt werden kann.

Grenze: XOR

Nicht linear separierbar

Ein einzelnes Perzeptron kann XOR nicht lernen — keine einzelne Gerade trennt die positiven von den negativen Beispielen. Dafür braucht es mindestens ein Hidden Layer — das ist der Übergang zum Multi-Layer-Perceptron (MLP), der Geburt von Deep Learning.

Diese Erkenntnis von Minsky & Papert (1969) hat das ganze Feld für 15 Jahre lahmgelegt — bis Backpropagation (1986) den Weg für mehrschichtige Netze frei machte.