O jacobiano e o hessiano

Muitas saídas, muitas entradas

Uma função $F$ pode mapear várias entradas em várias saídas, por exemplo fatores de risco nos valores de várias posições. Seu jacobiano $J$ é a matriz de todas as derivadas parciais de primeira ordem, com entrada $J_{ij}=\frac{\partial F_i}{\partial x_j}$ . É a melhor aproximação linear: para um pequeno movimento $\Delta$ , $F(\mathbf{x}+\Delta)\approx F(\mathbf{x})+J\Delta$ .

J=\begin{pmatrix}\frac{\partial F_1}{\partial x} & \frac{\partial F_1}{\partial y}\\[2pt] \frac{\partial F_2}{\partial x} & \frac{\partial F_2}{\partial y}\end{pmatrix}

(1)

Para uma única saída $f$ , as segundas derivadas formam o hessiano $H$ , com entrada $H_{ij}=\frac{\partial^2 f}{\partial x_i\partial x_j}$ . Para funções suaves ele é simétrico. Descreve a curvatura: $f(\mathbf{x}+\Delta)\approx f+\nabla f\cdot\Delta+\tfrac{1}{2}\Delta^{T}H\Delta$ . Onde $\nabla f=0$ , um $H$ definido positivo indica um mínimo local, um definido negativo um máximo local e um misto um ponto de sela. O método de Newton para otimização usa $H$ para dar passos melhores que a simples descida do gradiente.

Um jacobiano e um hessiano à mãoPara

F(x,y)=(x^2y,\ x+y^2)

J=\begin{pmatrix}2xy & x^2\\ 1 & 2y\end{pmatrix}

, então em

(1,2)

\begin{pmatrix}4&1\\1&4\end{pmatrix}

com determinante 15: áreas pequenas são multiplicadas por cerca de 15. Para

f(x,y)=x^2y+y^2

f_{xx}=2y

f_{xy}=2x

f_{yy}=2

, então em

(1,2)

o hessiano é

\begin{pmatrix}4&2\\2&2\end{pmatrix}

Jacobiano: a matriz das parciais de primeira ordem de uma função vetorial; seu melhor modelo linear.
Hessiano: a matriz simétrica das parciais de segunda ordem de uma função escalar; sua curvatura.
Hessiano definido positivo em um ponto crítico: um mínimo local.

Não estime um hessiano por diferenças finitas se puder evitarDiferenças segundas dividem diferenças minúsculas por

h^2

, o que amplifica o ruído de arredondamento. Prefira fórmulas ou diferenciação automática e, se precisar usar diferenças, verifique se o resultado é simétrico.

Lab: o que é avaliado

O jacobiano em um ponto20 pts
O hessiano em um ponto20 pts
O determinante do jacobiano15 pts
Lendo um hessiano15 pts
A aproximação linear15 pts
O que cada matriz descreve15 pts

Muitas saídas, muitas entradas

J=\begin{pmatrix}\frac{\partial F_1}{\partial x} & \frac{\partial F_1}{\partial y}\\[2pt] \frac{\partial F_2}{\partial x} & \frac{\partial F_2}{\partial y}\end{pmatrix}

(1)

Um jacobiano e um hessiano à mãoPara

F(x,y)=(x^2y,\ x+y^2)

J=\begin{pmatrix}2xy & x^2\\ 1 & 2y\end{pmatrix}

, então em

(1,2)

\begin{pmatrix}4&1\\1&4\end{pmatrix}

com determinante 15: áreas pequenas são multiplicadas por cerca de 15. Para

f(x,y)=x^2y+y^2

f_{xx}=2y

f_{xy}=2x

f_{yy}=2

, então em

(1,2)

o hessiano é

\begin{pmatrix}4&2\\2&2\end{pmatrix}

Jacobiano: a matriz das parciais de primeira ordem de uma função vetorial; seu melhor modelo linear.
Hessiano: a matriz simétrica das parciais de segunda ordem de uma função escalar; sua curvatura.
Hessiano definido positivo em um ponto crítico: um mínimo local.

Não estime um hessiano por diferenças finitas se puder evitarDiferenças segundas dividem diferenças minúsculas por

h^2

, o que amplifica o ruído de arredondamento. Prefira fórmulas ou diferenciação automática e, se precisar usar diferenças, verifique se o resultado é simétrico.

Lab: o que é avaliado

O jacobiano em um ponto20 pts
O hessiano em um ponto20 pts
O determinante do jacobiano15 pts
Lendo um hessiano15 pts
A aproximação linear15 pts
O que cada matriz descreve15 pts

Muitas saídas, muitas entradas

Lab: o que é avaliado

Entre para executar o seu código.

O jacobiano e o hessiano

Muitas saídas, muitas entradas

Lab: o que é avaliado

Entre para executar o seu código.