正交性与投影

直角与影子

两个向量的点积为零，$\mathbf{u}\cdot\mathbf{v}=0$，就称它们正交：成直角。$\mathbf{u}$ 的长度是 $\|\mathbf{u}\|=\sqrt{\mathbf{u}\cdot\mathbf{u}}$。正交使几何可以计算：当 $\mathbf{u}\perp\mathbf{v}$ 时勾股定理成立，$\|\mathbf{u}+\mathbf{v}\|^2=\|\mathbf{u}\|^2+\|\mathbf{v}\|^2$；不相关的收益率在去掉均值后也是正交的。

$\mathbf{b}$ 在 $\mathbf{a}$ 所在直线上的投影是它的影子 $\mathbf{p}=c\,\mathbf{a}$，即直线上离 $\mathbf{b}$ 最近的点。剩余部分 $\mathbf{b}-\mathbf{p}$ 与 $\mathbf{a}$ 正交，由此确定 $c=\frac{\mathbf{a}\cdot\mathbf{b}}{\mathbf{a}\cdot\mathbf{a}}$。投影矩阵 $P$ 对所有 $\mathbf{b}$ 做这件事：$\mathbf{p}=P\mathbf{b}$，满足 $P^{T}=P$ 和 $P^2=P$（投影两次不变）。它的特征值只有 0 和 1。

• 正交：$\mathbf{u}\cdot\mathbf{v}=0$。标准正交：正交且每个长度为 1。
• 投影：子空间中最近的点；剩余部分与该子空间正交。
• 标准正交的列（$Q^{T}Q=I$）保持长度和角度，因此从不放大误差。

实验：评分内容

• 投影系数15 分
• 投影矩阵20 分
• 剩余部分的大小15 分
• 投影矩阵的性质15 分
• 找出正交的一对10 分
• 残差与回归变量25 分