Сенімділік дегеніміз не?
Сенімділік (reliability) екі бөлікке бөлінеді: бағалаушылар арасындағы келісім (Коэн каппасы, ICC) және шкаланың ішкі үйлесімділігі (Кронбах альфасы). Бұл сабақ бағалаушылар келісіміне арналған.
Коэн каппасы (Cohen's Kappa)
Коэн каппасы — екі бағалаушының категориялық айнымалыны бағалаудағы келісімін өлшейді. Ол нақты келісім үлесін (Pₐ) кездейсоқ күтілетін келісіммен (P𝒸) салыстырады — себебі кейбір келісім кездейсоқ та болуы мүмкін.
Білім беру мысалы: Екі мұғалім бір эссе жинағын төрт санатқа (қанағаттанарлық / жақсы / өте жақсы / үздік) бөлді. Олардың бағалары қаншалықты үйлеседі?
Формула
kappa = (Pₐ − P𝒸) / (1 − P𝒸)
Pₐ = нақты келісім үлесі P𝒸 = кездейсоқ күтілетін келісім
Pₐ = нақты келісім үлесі P𝒸 = кездейсоқ күтілетін келісім
Каппаны түсіндіру (Landis & Koch, 1977)
| Каппа | Келісім деңгейі |
|---|---|
| < 0 | Нашар (кездейсоқтан да төмен) |
| 0 – 0.20 | Болмашы |
| 0.21 – 0.40 | Әлсіз |
| 0.41 – 0.60 | Орташа |
| 0.61 – 0.80 | Жақсы |
| 0.81 – 1.00 | Өте жақсы |
Ескерту: Каппа тек дәл сәйкестікті ескереді. Реттік деректер үшін өлшенген каппа (weighted kappa) қолайлырақ, бірақ ол SPSS-те жоқ. Реттік жуық сәйкестіктер маңызды болса — ICC қарастырыңыз.