处理缺失数据

数据中的缺口

真实的价格表总有缺口：某只股票那天没成交，数据源丢了一条报价，市场放假。pandas 用 NaN（"not a number"）标记它们。在决定怎么办之前先看一看：df.isna() 给出真/假表，.sum() 统计每列的缺失数，.mean() 给出缺失比例。缺了 40% 的列与只缺一个值的列是不同的问题。

import pandas as pd

nan = float("nan")
df = pd.DataFrame(
    {"AAPL": [184.0, nan, 186.5, 187.0, nan], "MSFT": [410.0, 411.0, nan, nan, 415.0]},
    index=pd.bdate_range("2026-03-02", periods=5),
)

print(df.isna().sum().to_dict())           # {'AAPL': 2, 'MSFT': 2}   holes per column
print(df.isna().mean().round(2).to_dict())   # {'AAPL': 0.4, 'MSFT': 0.4}   share of holes

向前沿用，或者删除

对价格而言，最自然的填充是最近已知的价格：新报价到来之前，市场仍在旧价位。这就是 ffill()（向前填充）。长时间的缺口多半意味着数据过期，所以 ffill(limit=2) 最多连续填两天。最开头的 NaN 仍是 NaN，因为没有更早的价格可沿用。另一种做法是删除：dropna() 删除所有含缺口的行，dropna(subset=["AAPL"]) 只看你关心的列。删除很稳妥，但会减少数据并改变日期间隔。

msft = df["MSFT"]
print(msft.ffill().tolist())           # [410.0, 411.0, 411.0, 411.0, 415.0]
print(msft.ffill(limit=1).tolist())    # [410.0, 411.0, 411.0, nan, 415.0]   only one day carried

print(len(df.dropna()))                          # 1   only one row is complete
print(len(df.dropna(subset=["AAPL"])))           # 3   rows where AAPL is known

插值，以及绝不能填充的内容

interpolate() 用已知值两侧之间的直线填补缺口。它适合平滑的量（收益率曲线、波动率水平），不太适合会跳变的价格。注意边缘：默认情况下 interpolate() 还会把最后一个值复制到末尾的 NaN 中，这是在编造数据。limit_area="inside" 把它限制在两个已知值之间的缺口。千万不要盲目用 0 填充：价格为 0 是崩盘，收益率为 0 是平盘日，对错误的表使用 fillna(0) 会悄悄改变之后算出的每个平均值。

gappy = pd.Series([nan, nan, 10.0, nan, nan, 16.0, nan])

print(gappy.interpolate().tolist())
# [nan, nan, 10.0, 12.0, 14.0, 16.0, 16.0]   the last 16.0 is invented

print(gappy.interpolate(limit_area="inside").tolist())
# [nan, nan, 10.0, 12.0, 14.0, 16.0, nan]    only between known values

# Filling with 0 is a decision, not a default: it changes the statistics
print(gappy.fillna(0).tolist())   # [0.0, 0.0, 10.0, 0.0, 0.0, 16.0, 0.0]
print(gappy.mean())                # 13.0   NaN are skipped
print(gappy.fillna(0).mean())      # 3.7142857142857144   the zeros drag the average down

• df.isna().sum() 统计每列缺失数；决定如何处理之前先看数据。
• ffill(limit=n) 沿用最近已知值（价格的正确选择）；dropna(subset=...) 删除不完整的行。
• interpolate(limit_area="inside") 只填补内部缺口；不要习惯性地用 0 或未来数据填充。

下一节：检测异常值，找出存在但不可能正确的数值。

实验：评分内容

• 用 count_missing 统计每列的缺失值25 分
• 用 forward_fill 向前沿用最近的价格25 分
• 用 complete_rows 只保留可信的行25 分
• 用 fill_gaps 填补数据内部的缺口25 分