Zielfunktionen Gradienten und Minima

Was ein Optimierer sucht

Ein Optimierungsproblem hat eine Zahl, die klein werden soll, die Zielfunktion $f(\mathbf w)$, und Variablen $\mathbf w$, die man ändern darf. Die Zielfunktion kann ein Kleinste-Quadrate-Verlust sein, die Varianz $\mathbf w^{T}\Sigma\mathbf w$ eines Portfolios oder der Abstand zwischen Modell- und Marktpreisen bei einer Kalibrierung. Etwas groß zu machen ist dasselbe Problem mit umgekehrtem Vorzeichen, denn $f$ zu maximieren heißt $-f$ zu minimieren.

Der Gradient zeigt in die Richtung, in der $f$ am schnellsten wächst, also ist $-\nabla f$ die Richtung des steilsten Abstiegs. In einem Minimum ist der Gradient null, die Bedingung erster Ordnung. Ein Nullgradient allein genügt nicht, denn auch Maxima und Sattelpunkte haben ihn. Die Hesse-Matrix $H$ unterscheidet sie: Ist $H$ positiv definit (alle Eigenwerte positiv), ist der Punkt ein lokales Minimum, ist sie negativ definit ein Maximum, und hat sie Eigenwerte beider Vorzeichen, ist der Punkt ein Sattel.

• Stationärer Punkt: $\nabla f=0$. Notwendig für ein Minimum, nicht hinreichend.
• Einordnung: positiv definites $H$ heißt lokales Minimum, indefinites $H$ Sattel.
• In einer Variablen: $f'(x)=0$ mit $f''(x)>0$ ist ein Minimum.

Lab: Was bewertet wird

• Eine partielle Ableitung15 Pkt.
• Die Länge des Gradienten15 Pkt.
• Das Minimum eines Polynoms dritten Grades15 Pkt.
• Einen stationären Punkt einordnen15 Pkt.
• Begriffe zuordnen15 Pkt.
• Ein Minimum von Hand finden10 Pkt.
• Warum man gegen den Gradienten geht15 Pkt.