هامش خطأ لكل ادعاء
يقول اختبار رجعي إن استراتيجية ربحت 0.05% يوميًا. أهي مهارة أم حظ؟ يجيب اختبار الفرضية بقيمة p: لو كان المتوسط الحقيقي صفرًا فكم مرة ستبدو عينة بهذا الحسن؟ يختبر stats.ttest_1samp(r, 0.0) متوسطًا واحدًا، ويقارن stats.ttest_ind(a, b, equal_var=False) أصلين دون افتراض تساوي تقلبهما (اختبار ويلش وهو الخيار الآمن). ويفحص stats.jarque_bera(r) هل العائدات طبيعية من التواء وتفلطح. قيمة p الصغيرة دليل ضد الفكرة المختبَرة لا برهان على الفكرة التي نحبها. والاختبار بقدر افتراضاته: اختبار t يفترض ذيولًا رفيعة وهذا ما لا تملكه العائدات اليومية.
حين تكون الصيغ مشكوكًا فيها أعد أخذ العينات. يسحب البوتستراب عينات كثيرة مع الإرجاع من بياناتك ويعيد حساب إحصائية في كل مرة (المتوسط أو نسبة شارب أو كمّية) ويقرأ مجالًا من تشتت النتائج: stats.bootstrap((r,), stat, method='percentile', random_state=np.random.default_rng(seed)). يجب أن تقبل الإحصائية وسيطة axis لأن SciPy تمرر دفعة كاملة من إعادات العينة معًا، والبذرة تجعل الجواب قابلًا للتكرار. ويخلط اختبار التبديل تسميات مجموعتين ليرى كم مرة يعطي الحظ وحده فجوة بحجم المرصودة. وأخيرًا، إن اختبرت 62 أصلًا عند 5% ظهر نحو ثلاثة منها دالًّا بالحظ وحده. تطبق stats.false_discovery_control(p) تصحيح بنجاميني–هوخبرغ وتبيّن أي الاكتشافات تبقى.
- ويلش افتراضيًا: لا تفترض أن أصلين لهما التقلب نفسه.
- أعد العينة عند الشك: يحتاج البوتستراب إلى إحصائية بوسيطة
axisوبذرة. - عُدّ اختباراتك: 62 اختبارًا عند 5% تعطي نحو ثلاثة اكتشافات كاذبة فصحّحها.
المختبر: ما الذي يُقيَّم
- هل المتوسط صفر؟8 نقطة
- أصلان وتقلبان8 نقطة
- اختبار الطبيعية6 نقطة
- مجال بوتستراب18 نقطة
- نسبة شارب سنوية8 نقطة
- نسبة شارب مع هامش خطأ10 نقطة
- اختبار تبديل14 نقطة
- عدّ الاكتشافات الكاذبة12 نقطة
- الدراسة الكاملة16 نقطة