只做一次,并且能够证明
研究会不断重复:同一组设置在同样的折上跑,同一张特征表在每次实验中重新构建。joblib 消除了这种浪费。Parallel(n_jobs=k)(delayed(f)(x) for x in items) 在 k 个工作进程上运行相互独立的调用 f(x),并按元素顺序返回结果;n_jobs=-1 使用全部核心,n_jobs=1 则一个接一个地运行,浏览器就是这样。一个任务的开销必须大于把数据发给工作进程的开销,所以要把过小的任务合并。网格搜索非常适合:5 个 alpha 乘 5 个滚动折就是 25 次相互独立的拟合,结果与多少个工作进程运行它们无关。
Memory(location).cache(f) 用磁盘缓存包装 f。用某些参数第一次调用时运行 f 并以参数的哈希保存结果;之后用相同参数调用就读取文件。缓存在程序结束后仍然存在,并能察觉 f 或参数的变化。对 NumPy 数组而不是 DataFrame 做哈希:DataFrame 的哈希可能取决于其内部内存布局,内容相同的两张表也可能哈希不同,缓存就会未命中。joblib.hash(array) 是内容的指纹:副本相等,任何改动后不同,由此可以证明两次实验使用了相同的数据。最后,joblib.dump(model, path, compress=3) 把拟合好的模型写入压缩文件,joblib.load(path) 取回预测完全相同的对象。在实验中,25 个任务给出的滚动秩相关在每个 alpha 下都距零不超过 0.06,slow_features 对两次缓存调用只运行一次,重新加载的 Ridge 预测完全一致。
- 相互独立的任务用
Parallel和delayed运行;结果不应依赖n_jobs。 Memory.cache以参数哈希为键把结果存到磁盘;传数组,不要传表。joblib.hash证明两次运行用了相同数据;dump与load保存预测一致的模型。
实验:评分内容
- 单个折任务15 分
- 任务网格25 分
- 磁盘缓存15 分
- 指纹10 分
- 保存模型15 分
- 研究20 分