Parameter vs. Hyperparameter

Interne Variablen vs. externe Konfiguration eines Modells.

Parameter lernt das Modell während des Trainings selbst. Hyperparameter legst du vorher fest — sie ändern sich während des Trainings nicht.

Intern

Parameter (θ\theta)

Die Variablen, die das Modell während des Trainings selbst lernt — z.B. Gewichte und Biases.

Extern

Hyperparameter (α\alpha)

Die Einstellungen, die wir vor dem Training festlegen — z.B. die Lernrate.

Parameter (θ\theta)

Die Variablen, die durch Optimierung (z.B. Gradient Descent) angepasst werden. Mathematisch oft als θ\theta zusammengefasst: θ=(w1,w2,…,b)\theta = (w_1, w_2, \dots, b).

ModellParameter
Lineare RegressionGewichte w1,…,wnw_1, \dots, w_n und Bias bb
Logistische RegressionWie oben, plus Sigmoid-Ausgabe
Neuronales NetzAlle Gewichte und Biases jeder Schicht
Decision TreeSplit-Punkte und Schwellenwerte

Trainingsziel

θ∗=arg⁡min⁡θ  L(θ;D)\theta^* = \arg\min_{\theta} \; \mathcal{L}(\theta; D)

Finde die Parameter θ∗\theta^*, die den Loss L\mathcal{L} auf den Trainingsdaten DD minimieren.

Hyperparameter

Die Stellschrauben außerhalb des Modells — sie steuern, wie gelernt wird. Du wählst sie per Experiment, Heuristik oder automatisierter Suche (Grid Search, Random Search, Bayesian Optimization).

HyperparameterSymbolWirkung
Lernrateα\alphaWie groß sind die Update-Schritte beim Gradient Descent?
Anzahl Epochen—Wie oft sieht das Modell die kompletten Trainingsdaten?
Batch-Size—Wie viele Beispiele werden pro Update verarbeitet?
Regularisierungλ\lambdaWie stark werden große Gewichte bestraft?
Layer-Anzahl—Wie tief ist das neuronale Netz?

Warum die Unterscheidung wichtig ist

Parameter brauchen Daten

Parameter werden vom Optimizer geschätzt — ohne Trainingsdaten kann das Modell sie nicht lernen.

Hyperparameter brauchen Suche

Hyperparameter wählst du per Experiment oder automatisierter Suche — Grid Search, Random Search oder Bayesian Optimization.

Eine gute Hyperparameter-Wahl kann den Unterschied zwischen einem Modell ausmachen, das gar nicht lernt, und einem, das State-of-the-Art ist — selbst wenn die Architektur identisch ist.