Funciones objetivo gradientes y mínimos

Lo que busca un optimizador

Un problema de optimización tiene un número que hacer pequeño, el objetivo $f(\mathbf w)$ , y variables $\mathbf w$ que se pueden cambiar. El objetivo puede ser una pérdida de mínimos cuadrados, la varianza $\mathbf w^{T}\Sigma\mathbf w$ de una cartera o la diferencia entre precios del modelo y del mercado en una calibración. Hacer algo grande es el mismo problema con el signo cambiado, porque maximizar $f$ es minimizar $-f$ .

\nabla f(\mathbf w)=\Big(\frac{\partial f}{\partial w_1},\dots,\frac{\partial f}{\partial w_n}\Big),\qquad H_{ij}=\frac{\partial^{2} f}{\partial w_i\,\partial w_j}

(1)

El gradiente apunta en la dirección en que $f$ crece más rápido, así que $-\nabla f$ es la dirección de máximo descenso. En un mínimo el gradiente es cero, la condición de primer orden. Un gradiente nulo no basta, porque los máximos y los puntos de silla también lo tienen. El hessiano $H$ los distingue: si $H$ es definida positiva (todos los valores propios positivos) el punto es un mínimo local, si es definida negativa un máximo, y si tiene valores propios de ambos signos el punto es de silla.

Un ejemplo con dos variablesTomemos

f(x,y)=(x-1)^2+2(y+2)^2

. Entonces

\nabla f=(2(x-1),\,4(y+2))

. En el punto

(3,0)

el gradiente es

(4,8)

, así que ir en sentido contrario baja

f

. El gradiente solo se anula en

(1,-2)

. Allí

H=\mathrm{diag}(2,4)

tiene valores propios positivos:

(1,-2)

es el mínimo y

f=0

en él.

Punto estacionario: $\nabla f=0$ . Necesario para un mínimo, no suficiente.
Clasificación: $H$ definida positiva da un mínimo local, $H$ indefinida una silla.
En una variable: $f'(x)=0$ con $f''(x)>0$ es un mínimo.

Compruebe su gradiente numéricamenteLa mayoría de los errores de optimización son gradientes equivocados. Compare su fórmula con la diferencia central

\big(f(x+h)-f(x-h)\big)/(2h)

para un

h

pequeño como

10^{-5}

: deben coincidir en varias cifras. Hágalo una vez con cada objetivo nuevo antes de confiar en un solucionador que lo use.

Lab: qué se califica

Una derivada parcial15 pts
La longitud del gradiente15 pts
El mínimo de un cúbico15 pts
Clasificar un punto estacionario15 pts
Emparejar el vocabulario15 pts
Hallar un mínimo a mano10 pts
Por qué ir contra el gradiente15 pts

Lo que busca un optimizador

\nabla f(\mathbf w)=\Big(\frac{\partial f}{\partial w_1},\dots,\frac{\partial f}{\partial w_n}\Big),\qquad H_{ij}=\frac{\partial^{2} f}{\partial w_i\,\partial w_j}

(1)

Un ejemplo con dos variablesTomemos

f(x,y)=(x-1)^2+2(y+2)^2

. Entonces

\nabla f=(2(x-1),\,4(y+2))

. En el punto

(3,0)

el gradiente es

(4,8)

, así que ir en sentido contrario baja

f

. El gradiente solo se anula en

(1,-2)

. Allí

H=\mathrm{diag}(2,4)

tiene valores propios positivos:

(1,-2)

es el mínimo y

f=0

en él.

Punto estacionario: $\nabla f=0$ . Necesario para un mínimo, no suficiente.
Clasificación: $H$ definida positiva da un mínimo local, $H$ indefinida una silla.
En una variable: $f'(x)=0$ con $f''(x)>0$ es un mínimo.

Compruebe su gradiente numéricamenteLa mayoría de los errores de optimización son gradientes equivocados. Compare su fórmula con la diferencia central

\big(f(x+h)-f(x-h)\big)/(2h)

para un

h

pequeño como

10^{-5}

: deben coincidir en varias cifras. Hágalo una vez con cada objetivo nuevo antes de confiar en un solucionador que lo use.

Lab: qué se califica

Una derivada parcial15 pts
La longitud del gradiente15 pts
El mínimo de un cúbico15 pts
Clasificar un punto estacionario15 pts
Emparejar el vocabulario15 pts
Hallar un mínimo a mano10 pts
Por qué ir contra el gradiente15 pts

Funciones objetivo gradientes y mínimos

Lo que busca un optimizador

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Funciones objetivo gradientes y mínimos

Lo que busca un optimizador

Lab: qué se califica

Inicia sesión para ejecutar tu código.