低ランク近似

行列の重要な部分だけを残す

SVDは行列を、大きい層から小さい層の順に並んだランク1の層の和 $A=\sum_i\sigma_i\mathbf u_i\mathbf v_i^{T}$ として表します。最初の $k$ 層だけを残すと、ランク $k$ の行列 $A_k=U_k\Sigma_kV_k^{T}$ が得られます。エッカート＝ヤングの定理は、誤差をフロベニウスノルムで測ってもスペクトルノルムで測っても、この切り捨てが最良のランク $k$ 近似であると述べます。巧妙に選んだ $k$ 個の方向でも、上位 $k$ 個の特異方向には勝てません。

誤差は捨てた特異値そのものなので、残る2乗サイズの割合は $\sum_{i\le k}\sigma_i^2\big/\sum_i\sigma_i^2$ で、$A$ が中心化データなら寄与率（説明される分散）と呼ばれます。$m\times n$ 行列のランク $k$ 近似は $mn$ 個ではなく $k(m+n+1)$ 個の数で済むので、低ランクは圧縮でもあります。金融では $\sigma_i$ の小さい層は主に標本ノイズなので、切り捨てはノイズ除去になり、$k$ は残す割合のしきい値や特異値のギャップで決めます。

• エッカート＝ヤング：SVDを $k$ 項で打ち切ると、どちらのノルムでも最良のランク $k$ 近似になる。
• 誤差：フロベニウス $\sqrt{\sum_{i>k}\sigma_i^2}$、スペクトル $\sigma_{k+1}$。
• 記憶量：$mn$ 個ではなく $k(m+n+1)$ 個の数。

ラボ：採点される内容

• フロベニウス誤差15点
• 残る割合15点
• ランク1近似15点
• 低ランク行列の記憶量10点
• エッカート＝ヤングの定理15点
• 行列の圧縮15点
• なぜ切り捨てがノイズを除くのか15点