كلما بحثت أكثر وجدت أكثر
يُعلن اختبار بمستوى 5٪ خطأً أن لا شيء حقيقي دالّ في 5٪ من الأحيان. وهذا مقبول في اختبار واحد. أما مع m اختبارًا مستقلًا على ضجيج خالص فاحتمال وجود إيجابي كاذب واحد على الأقل هو 1−(1−α)m: ومع 20 اختبارًا يكون 1−0.9520≈64%. وتجربة إشارات أو معاملات أو أصول أو نوافذ زمنية كثيرة والإبلاغ عن التي نجحت فقط هي أشيع طرق خداع البحث الكمّي لنفسه، ولها اسم: مشكلة الاختبارات المتعددة أو التنقيب في البيانات.
pi≤mα,p(k)≤mkq(1) هناك شيئان يمكن ضبطهما. معدل الخطأ للعائلة (FWER) هو احتمال ارتكاب أي اكتشاف كاذب؛ وتضبطه طريقة بونفروني باختبار كل فرضية بالمستوى α/m وهي بسيطة لكنها قاسية حين يكبر m. ومعدل الاكتشافات الكاذبة (FDR) هو الحصة المتوقعة من الاكتشافات الخاطئة؛ وتفرز طريقة بنيامين-هوخبرغ قيم p وتجد أكبر k يحقق p(k)≤kq/m وتعلن أن أصغر k قيمة دالّة. وضبط FDR ألطف ويلائم البحث الاستكشافي الذي تُحتمل فيه بضعة أدلة كاذبة، وضبط FWER يلائم حين يجب التيقن.
عشرون اختبارًا وست قيم pعشرون اختبارًا مستقلًا على ضجيج تعطي
p<0.05 واحدة على الأقل باحتمال
1−0.9520=0.64. ومع 50 فرضية تطلب بونفروني
p≤0.05/50=0.001. اختبر 1000 إشارة بمستوى 5٪ وليس فيها ما يعمل فتتوقع
1000⋅0.05=50 اكتشافًا كاذبًا. ولست قيم
p مرتبة
0.001,0.008,0.039,0.041,0.042,0.060 و
q=0.05 تكون عتبات بنيامين-هوخبرغ
kq/6 هي
0.0083,0.0167,0.025,0.033,0.0417,0.05. تجتاز القيمة الثانية ولا تجتاز الثالثة ولا أي لاحقة: اكتشافان.
- الاختبارات المتعددة: يزداد احتمال الإيجابي الكاذب كـ 1−(1−α)m.
- بونفروني يضبط احتمال أي اكتشاف كاذب (FWER) بالمستوى α/m.
- بنيامين-هوخبرغ يضبط حصة الاكتشافات الكاذبة (FDR) ويحتفظ بقدرة أكبر.
عُدّ محاولاتك بما فيها التي لم تحتفظ بهايعتمد التصحيح على عدد الفرضيات التي جرّبتها فعلًا لا على ما تبلغ عنه. فكل شبكة معاملات وكل فكرة مهجورة وكل تنويعة لمرشّح تُحسب، والعدد الأمين غالبًا أكبر بكثير مما في الورقة. دوّن المحاولات أثناء العمل، وإن تعذّر عدّها فافترض أكثر مما تظن.
المختبر: ما الذي يُقيَّم
- إيجابي كاذب واحد على الأقل15 نقطة
- مستوى بونفروني10 نقطة
- الاكتشافات الكاذبة المتوقعة10 نقطة
- بنيامين-هوخبرغ15 نقطة
- ما الذي يضبط معدل الاكتشافات الكاذبة15 نقطة
- المصطلحات15 نقطة
- أفضل اختبار رجعي من بين كثير20 نقطة
