Fonctions objectif gradients et minima

Ce que cherche un optimiseur

Un problème d'optimisation a un nombre à rendre petit, l'objectif $f(\mathbf w)$, et des variables $\mathbf w$ que l'on peut modifier. L'objectif peut être une perte des moindres carrés, la variance $\mathbf w^{T}\Sigma\mathbf w$ d'un portefeuille ou l'écart entre prix du modèle et prix du marché dans une calibration. Rendre quelque chose grand est le même problème au signe près, car maximiser $f$ revient à minimiser $-f$.

Le gradient pointe vers la direction où $f$ augmente le plus vite, donc $-\nabla f$ est la direction de plus forte descente. En un minimum le gradient est nul : c'est la condition du premier ordre. Un gradient nul ne suffit pas, car les maxima et les points selle l'ont aussi. La hessienne $H$ les distingue : si $H$ est définie positive (toutes les valeurs propres positives) le point est un minimum local, si elle est définie négative un maximum, et si elle a des valeurs propres des deux signes le point est un col.

• Point stationnaire : $\nabla f=0$. Nécessaire pour un minimum, pas suffisant.
• Classification : $H$ définie positive donne un minimum local, $H$ indéfinie un col.
• En une variable : $f'(x)=0$ avec $f''(x)>0$ donne un minimum.

Lab : ce qui est noté

• Une dérivée partielle15 pts
• La longueur du gradient15 pts
• Le minimum d'un cubique15 pts
• Classer un point stationnaire15 pts
• Associer le vocabulaire15 pts
• Trouver un minimum à la main10 pts
• Pourquoi aller contre le gradient15 pts