从得分到概率
逻辑回归预测“是或否”,比如明天的收益是否为正。它先像线性回归一样构造线性得分 z=a+bx,再用 sigmoid p=1/(1+e−z) 把它变成概率。得分是赔率的对数:z=ln1−pp,所以 ez 就是赔率。得分 0 对应 p=0.5。模型通过最小化对数损失来拟合:结果为“是”时损失为 −lnp,为“否”时为 −ln(1−p),因此会重罚自信的错误。最终报告的类别取决于一个可以移动的阈值,通常是 0.5。
p=1+e−z1,z=a+bx,1−pp=ez,ℓ=−lnp (y=1)(1) 得分为 1 与真实的 SPY取
z=−0.5+2x、
x=0.75,则
z=1,
p=1/(1+e−1)=0.731,赔率为
e1=2.718。若当天确实上涨,对数损失为
−ln0.731=0.313。得分在
x=0.25 处为
0,模型在那里犹豫不决。真实数据则谦逊得多:在有次日收益的
5,384 个 SPY 交易日里,
54.9% 上涨。用最近收益、5 日均值和 20 日波动率做逻辑回归,在前半段拟合,对后半段
98.8% 的日子预测上涨,命中率
55.4%,而“永远说涨”是
55.2%。它的对数损失
0.6872 仅略低于常数预测的
0.6878。当真实比例是
0.55 时,直接猜常数
0.55 就已经得到
−(0.55ln0.55+0.45ln0.45)=0.688。
当某一类很常见时,仅看准确率会误导:如果大多数日子都上涨,一个永远说涨的模型看起来不错,却对交易毫无用处。评判方向模型要看相对于常数比例基线的对数损失、概率的校准程度,以及最重要的——按这些概率行动的策略在扣除成本后的收益。在阈值决策中,错误买入和错过机会的代价很少相等,所以最佳阈值往往不是 0.5。
- 先得分,再 sigmoid:线性得分变成 0 到 1 之间的概率。
- 对数损失惩罚自信:自信的错误答案比犹豫的代价高得多。
- 要胜过基线:与始终预测基础比例的做法比较,而不是与 50% 比较。
实验:评分内容
- 由得分求概率15 分
- 赔率10 分
- 对数损失15 分
- 模型犹豫不决的位置10 分
- 常数基线10 分
- 为什么准确率会误导10 分
- 配对术语10 分
- 为什么模型几乎不比基线好20 分