🧮 Mathematik zu ML und AI

Innere Produkte

Das Skalarprodukt als Maß für Länge, Winkel und Ähnlichkeit — die Brücke zwischen Algebra und Geometrie.

Definition

Das innere Produkt (auch Skalarprodukt) zweier Vektoren a,b∈Rn\mathbf{a}, \mathbf{b} \in \mathbb{R}^n ordnet ihnen eine einzelne Zahl zu. Es ist die Summe der komponentenweisen Produkte:

Die algebraische Definition

⟨a,b⟩=a⊤b=∑i=1nai bi\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a}^\top \mathbf{b} = \sum_{i=1}^{n} a_i \, b_i

Das Ergebnis ist ein Skalar, kein Vektor — daher der Name. Aus diesem einfachen Ausdruck lassen sich Länge, Winkel und Ähnlichkeit ableiten.

Geometrische Bedeutung

Dieselbe Größe besitzt eine geometrische Form, die den eingeschlossenen Winkel θ\theta sichtbar macht:

⟨a,b⟩=∥a∥ ∥b∥cos⁡θ\langle \mathbf{a}, \mathbf{b} \rangle = \lVert \mathbf{a} \rVert \, \lVert \mathbf{b} \rVert \cos\theta
$\theta < 90°$

Positiv

Die Vektoren zeigen in eine ähnliche Richtung — das innere Produkt ist positiv.

$\theta = 90°$

Null

Die Vektoren stehen orthogonal zueinander. Das Skalarprodukt verschwindet.

$\theta > 90°$

Negativ

Die Vektoren zeigen in entgegengesetzte Richtungen — das Produkt ist negativ.

Länge und Orthogonalität

Das innere Produkt eines Vektors mit sich selbst liefert das Quadrat seiner Länge (Norm):

∥a∥=⟨a,a⟩\lVert \mathbf{a} \rVert = \sqrt{\langle \mathbf{a}, \mathbf{a} \rangle}

Zwei Vektoren heißen orthogonal, wenn ihr inneres Produkt null ist: ⟨a,b⟩=0\langle \mathbf{a}, \mathbf{b} \rangle = 0. Orthogonalität ist das algebraische Pendant zum rechten Winkel.

Warum das für ML zählt

Ähnlichkeit

Kosinus-Ähnlichkeit

Auf Länge 1 normiert misst das innere Produkt die Kosinus-Ähnlichkeit zweier Embeddings — die Grundlage semantischer Suche und Empfehlungssysteme.

Neuronen

Gewichtete Summe

Die Vor-Aktivierung eines Neurons w⊤x+b\mathbf{w}^\top \mathbf{x} + b ist ein inneres Produkt aus Gewichts- und Eingabevektor.