诚实地检验一个发现
本综合项目把整个技能放进一个问题：当最近 L 天收益之和为正时做多、否则做空的趋势规则，在 SPY 二十年数据上试了 24 个回看窗口。其最优版本的夏普比率约为 0.31。这是真正的优势吗？先估计夏普比率，再用自助法衡量它的不确定性，最后校正你看了 24 个版本并只报告最好那个这一事实。
SR=r̄/s√252, z≈SR/(√252)√m, p_adj=min(1, N p)
第一个公式把日均值除以样本标准差后年化。第二个公式把它转成对“均值为零”原假设的 z 值：日度夏普比率乘以策略天数 m 的平方根。第三个是对 N 次试验的 Bonferroni 校正。有两个细节让规则诚实。第 t 天的仓位只能使用到第 t-1 天为止的收益，因为偷看交易当天的信号每天都能赚到收益的绝对值。而且 N 个规则中最优那个的 p 值，并不是事先选定的一个规则的 p 值。
真实数据说明了什么对 2006 年以来的 SPY（5190 天），买入持有的夏普比率为 0.62。在 5 到 120 天的 24 个回看窗口中，最优趋势规则是 60 天，在 5130 天里的夏普比率为 0.31。其 z 值为 1.41，单侧 p 值为 0.080，看上去几乎有意思。乘以 24 次试验，校正后 p 值为 24×0.080>1，即 1。最优趋势规则比单纯持有指数还差，一旦算上你看过多少个规则，优势的证据就消失了。
- 夏普比率：年化均值除以样本（n - 1）标准差。
- 自助法：有放回地重抽样交易日，读取统计量的 2.5% 和 97.5% 分位数。
- 无前视：第 t 天的仓位只能用到第 t - 1 天的收益。
- 多重检验：N 次尝试中最优者的 p 值是看上去的 N 倍。
发现是关于一次搜索的论断报告时不仅要说最好的那个，还要说一共试了多少个。同样的夏普比率，试 24 次后是弱证据，预先登记只试 1 次则是强证据。相邻的回看窗口高度相关，所以这里 Bonferroni 偏保守，诚实的数字介于原始和校正后的 p 值之间。但这仍然救不了落后于买入持有的 0.31 夏普比率。
实验：评分内容
- 夏普比率15 分
- 无前视的趋势规则25 分
- 自助法区间25 分
- 搜索与校正35 分