ヤコビ行列とヘッセ行列

多くの出力と多くの入力

関数 $F$ は複数の入力を複数の出力に写せます。たとえばリスクファクターを複数のポジションの価値に写します。そのヤコビ行列 $J$ はすべての1階偏微分の行列で、成分は $J_{ij}=\frac{\partial F_i}{\partial x_j}$ です。最良の線形近似であり、小さな移動 $\Delta$ に対して $F(\mathbf{x}+\Delta)\approx F(\mathbf{x})+J\Delta$ です。

J=\begin{pmatrix}\frac{\partial F_1}{\partial x} & \frac{\partial F_1}{\partial y}\\[2pt] \frac{\partial F_2}{\partial x} & \frac{\partial F_2}{\partial y}\end{pmatrix}

(1)

出力が1つの $f$ では、2階偏微分がヘッセ行列 $H$ （成分 $H_{ij}=\frac{\partial^2 f}{\partial x_i\partial x_j}$ ）をなします。滑らかな関数では対称です。曲率を表し、 $f(\mathbf{x}+\Delta)\approx f+\nabla f\cdot\Delta+\tfrac{1}{2}\Delta^{T}H\Delta$ となります。 $\nabla f=0$ の点で、 $H$ が正定値なら極小、負定値なら極大、符号が混在するなら鞍点です。最適化のニュートン法は、 $H$ を使って単純な勾配降下よりよい歩幅で進みます。

ヤコビ行列とヘッセ行列を手計算する

F(x,y)=(x^2y,\ x+y^2)

のヤコビ行列は

J=\begin{pmatrix}2xy & x^2\\ 1 & 2y\end{pmatrix}

で、

(1,2)

では

\begin{pmatrix}4&1\\1&4\end{pmatrix}

、行列式は15です。小さな面積はおよそ15倍になります。

f(x,y)=x^2y+y^2

では

f_{xx}=2y

、

f_{xy}=2x

、

f_{yy}=2

なので、

(1,2)

のヘッセ行列は

\begin{pmatrix}4&2\\2&2\end{pmatrix}

です。

ヤコビ行列：ベクトル値関数の1階偏微分の行列。最良の線形モデル。
ヘッセ行列：スカラー関数の2階偏微分の対称行列。曲率を表す。
臨界点で正定値のヘッセ行列：極小。

できればヘッセ行列を有限差分で推定しない2階差分は微小な差を

h^2

で割るため、丸めノイズが増幅されます。式や自動微分を優先し、差分を使うときは結果が対称になっているか確かめましょう。

ラボ：採点される内容

ある点でのヤコビ行列20点
ある点でのヘッセ行列20点
ヤコビ行列の行列式15点
ヘッセ行列を読む15点
線形近似15点
各行列が表すもの15点

多くの出力と多くの入力

J=\begin{pmatrix}\frac{\partial F_1}{\partial x} & \frac{\partial F_1}{\partial y}\\[2pt] \frac{\partial F_2}{\partial x} & \frac{\partial F_2}{\partial y}\end{pmatrix}

(1)

ヤコビ行列とヘッセ行列を手計算する

F(x,y)=(x^2y,\ x+y^2)

のヤコビ行列は

J=\begin{pmatrix}2xy & x^2\\ 1 & 2y\end{pmatrix}

で、

(1,2)

では

\begin{pmatrix}4&1\\1&4\end{pmatrix}

、行列式は15です。小さな面積はおよそ15倍になります。

f(x,y)=x^2y+y^2

では

f_{xx}=2y

、

f_{xy}=2x

、

f_{yy}=2

なので、

(1,2)

のヘッセ行列は

\begin{pmatrix}4&2\\2&2\end{pmatrix}

です。

ヤコビ行列：ベクトル値関数の1階偏微分の行列。最良の線形モデル。
ヘッセ行列：スカラー関数の2階偏微分の対称行列。曲率を表す。
臨界点で正定値のヘッセ行列：極小。

できればヘッセ行列を有限差分で推定しない2階差分は微小な差を

h^2

で割るため、丸めノイズが増幅されます。式や自動微分を優先し、差分を使うときは結果が対称になっているか確かめましょう。

ラボ：採点される内容

ある点でのヤコビ行列20点
ある点でのヘッセ行列20点
ヤコビ行列の行列式15点
ヘッセ行列を読む15点
線形近似15点
各行列が表すもの15点

ヤコビ行列とヘッセ行列

多くの出力と多くの入力

ラボ：採点される内容

コードを実行するにはログインしてください。

ヤコビ行列とヘッセ行列

多くの出力と多くの入力

ラボ：採点される内容

コードを実行するにはログインしてください。