同じ入力なら同じ答え
結果が再現可能であるとは、自分や同僚、レビュアーが後で同じプロジェクトを実行して同じ数値を得られることです。再構築できないバックテストは、監査もデバッグも信頼もできません。結果がずれる原因は、乱数、ライブラリのバージョン違い、変更された(または手で編集された)データ、コードに散らばった設定、順序を無視して実行したノートブックのような隠れた状態など、限られています。再現可能なワークフローは、これらのずれの原因を取り除き、使ったものを記録します。
import random
# Same seed, same "random" numbers
a = random.Random(42)
b = random.Random(42)
print([round(a.random(), 3) for _ in range(3)]) # [0.639, 0.025, 0.275]
print([round(b.random(), 3) for _ in range(3)]) # [0.639, 0.025, 0.275]
# A different seed gives a different but equally repeatable sequence
print(round(random.Random(7).random(), 3)) # 0.324シードと、それを持つジェネレーター
シミュレーションやブートストラップは乱数を使いますが、乱数は実際にはシードから始まる決まった数列です。シードを固定すれば実行は完全に繰り返されます。random.seed(42) はプログラム全体で共有される唯一のグローバルジェネレーターを初期化するため、他のコードが乱数を引くとあなたの数列がずれます。自分専用のジェネレーター rng = random.Random(42)(または numpy.random.default_rng(42))を作って受け渡し、そこから引くほうが安全です。結果は自分のシードだけに依存し、シードの設定が他人の乱数を乱すこともありません。
import random
# The global generator is shared: seeding it changes everyone's numbers
random.seed(1)
first = random.random()
random.seed(1)
print(random.random() == first) # True: global seeding repeats...
# ...but a private generator leaves the global one untouched
random.seed(1)
before = random.getstate()
mine = random.Random(99)
mine.random()
print(random.getstate() == before) # True: your draws did not disturb itデータと設定のフィンガープリント
そのデータファイルが先月使ったものと同じだと、どうやって分かるでしょうか。チェックサムを計算します。SHA-256 などのハッシュは、どんなファイルも短い固定長の文字列に変え、1バイトでも変われば値が変わります。hashlib.sha256(data).hexdigest() で得られ、大きなファイルは分割して読みます。設定にも同じ扱いが必要です。設定をキーをソートして直列化し(json.dumps(config, sort_keys=True))、そのテキストをハッシュすれば、意味が同じ2つの設定はキーの順序に関係なく同じフィンガープリントになり、値が変わればすぐ別の値になります。
import hashlib
import json
# A checksum of bytes
print(hashlib.sha256(b"AAPL,184.25").hexdigest()[:12]) # 06ea4aa73ec1 (12 characters of 64)
# A fingerprint of settings, independent of key order
def fingerprint(config):
text = json.dumps(config, sort_keys=True, separators=(",", ":"))
return hashlib.sha256(text.encode("utf-8")).hexdigest()[:12]
one = {"fee": 0.001, "window": 20}
two = {"window": 20, "fee": 0.001}
print(fingerprint(one) == fingerprint(two)) # True
print(fingerprint(one) == fingerprint({"fee": 0.002, "window": 20})) # False実行したものを記録する
実行のたびに、結果の隣に小さなマニフェストを残しましょう。シード、設定のフィンガープリント、Python とライブラリのバージョン、各入力ファイルのチェックサム、コードの Git コミットを記録します。この記録があれば、ある数値が何から生まれたかを正確に言え、後で再構築できます。これまでの習慣と組み合わせます。requirements.txt で固定した環境、Git のコード、1つのファイルの設定、生データから最終的な表までを実行する1つのコマンド、途中でデータを手作業で編集しないことです。
import json
import platform
# A manifest records what a run used
manifest = {
"seed": 42,
"config_fingerprint": "a1b2c3d4e5f6",
"python": platform.python_version().split(".")[0] + ".x",
"inputs": {"prices.csv": "9f86d081884c"},
}
print(json.dumps(manifest, indent=2, sort_keys=True))
# {
# "config_fingerprint": "a1b2c3d4e5f6",
# "inputs": {
# "prices.csv": "9f86d081884c"
# },
# "python": "3.x",
# "seed": 42
# }- 専用の
random.Random(seed)を使い、結果が自分のシードだけに依存するようにする - データ(ファイルのチェックサム)と設定(ソート済み JSON を SHA-256)にフィンガープリントを付ける
- 実行ごとにマニフェストを保存する。固定した環境 + Git コミット + 再構築の1コマンド
次はクラスとオブジェクトです。データとそれを扱う関数を、1つの整った単位にまとめます。
ラボ:採点される内容
seeded_returnsで再現できる乱数リターンを生成する25点file_checksumでデータファイルのフィンガープリントを取る25点config_fingerprintで設定のフィンガープリントを取る25点run_manifestで実行に使ったものを記録する25点