Мәселе неде?
Бір деректе көп тест жүргізген сайын, кем дегенде біреуінде кездейсоқ «маңызды» нәтиже алу ықтималдығы артады. Әр тест 5% қателік қаупін көтереді — 20 тест жүргізсеңіз, біреуінде жалған нәтиже шығуы әбден мүмкін.
Білім беру мысалы: Зерттеуші 10 түрлі пән бойынша екі топты салыстырғысы келеді. 10 рет тест жүргізсе, тек кездейсоқтықпен біреуінде «маңызды айырмашылық» шығуы мүмкін.
I типті қатенің инфляциясы
Бірнеше тест жиынтығында кем дегенде бір жалған дабыл алу ықтималдығы (family-wise error rate) былай өседі:
P(кем дегенде бір қате) = 1 − (1 − α)^m
α = 0.05, m = тест саны m = 10 болса → 1 − 0.95^10 ≈ 0.40 (40%!)
α = 0.05, m = тест саны m = 10 болса → 1 − 0.95^10 ≈ 0.40 (40%!)
Bonferroni түзетуі
Ең қарапайым және түсінікті түзету. Екі жолы бар:
- Маңыздылық деңгейін тест санына бөлу: α_жаңа = 0.05 / m. Мысалы, 10 тест үшін әр p-мәнді 0.005-пен салыстыру.
- Немесе әр p-мәнді тест санына көбейтіп, 0.05-пен салыстыру (максимумы — 1).
Bonferroni — ең консервативті түзету (H₀-ді жоққа шығару ең қиын). Сондықтан кейде шынайы айырмашылықтарды да жіберіп алады.
Басқа түзетулер (post-hoc тесттер)
| Түзету | Қашан қолданылады |
|---|---|
| Tukey HSD | ANOVA-да топтар тең болғанда — ең жиі |
| Bonferroni | Қатаң бақылау қажет болғанда |
| Holm | Bonferroni-дің қуаттырақ нұсқасы |
| Šidák | Тәуелсіз тесттер үшін |
| Games–Howell | Дисперсиялар тең емес болғанда |
| Scheffé | Медицинада жиі қолданылады |