Розуміння критерію для частки: критична область, фактичне α, інтервал прогнозу (forecast interval)

Коротко

За H₀ X має біноміальний розподіл із n і p₀. З рівня значущості α плитка визначає критичну область K - кількості успіхів, за яких H₀ відхиляється. Приклад n = 100, p₀ = 0,5, α = 5%, правосторонній: K = {59, …, 100}. За щонайменше 59 успіхів H₀ відхиляється.

Критична область K і фактичне α

• Правосторонній (H₁: p > p₀): K = {g, …, n} з найменшим g, для якого P(X ≥ g) ≤ α. Лівосторонній (H₁: p < p₀): K = {0, …, k} з найбільшим k, для якого P(X ≤ k) ≤ α. Двосторонній (H₁: p ≠ p₀): обидва боки по α / 2.
• Фактичне α - це ймовірність, з якою K настає за H₀. Воно ніколи не перевищує вибране α, але часто менше за нього, бо X набуває лише цілих значень (у прикладі 4,43% замість 5%). Statable завжди його показує.
• Якщо K порожня, з’являється повідомлення: «За такого n H₀ ніколи не може бути відхилена на рівні α.» Це трапляється за малого n і малого α.

p-значення і рішення

Односторонній (one-tailed): p = P(X ≥ x) або P(X ≤ x). Двосторонній (two-tailed): Statable подвоює менше одностороннє значення: p = min(1; 2 · min(P(X ≤ x), P(X ≥ x))). Тож завжди виконується: x лежить у K саме тоді, коли p ≤ α. Рішення і p-значення ніколи не суперечать одне одному. R (binom.test) обчислює двосторонній варіант інакше (сума всіх ймовірностей, що не більші за P(X = x)); для p₀ ≠ 0,5 p-значення там може бути меншим. Приклад n = 40, p₀ = 0,4, x = 7: подвоєння 0,0041, binom.test 0,0033. Для p₀ = 0,5 обидва однакові.

Невідхилення не означає, що H₀ правильна

Якщо x не лежить у K, речення звучить так: «Дані дають замало свідчень, що p відрізняється від p₀.» Це не доказ того, що H₀ правильна. «Статистично значущий» має сенс лише разом із рівнем, на якому це кажуть.

Помилка другого роду і статистична потужність

Помилка першого роду: H₀ відхиляється, хоча вона правильна; її ймовірність - фактичне α. Помилка другого роду: H₀ не відхиляється, хоча насправді діє інша частка p₁; її ймовірність - β = P(X ∉ K | p₁). Статистична потужність 1 − β = P(X ∈ K | p₁) - ймовірність виявити різницю. Приклад n = 100, p₀ = 0,5, правосторонній, p₁ = 0,6: β = 37,75%, потужність 62,25%.

Інтервал прогнозу (forecast interval) чи довірчий інтервал?

Інтервал прогнозу (forecast interval) застосовують, коли p відоме: він дає діапазон [a; b] кількості успіхів, що трапляється з ймовірністю щонайменше 1 − α (висновок уперед). Це відповідник двосторонньої (two-tailed) K. Приклад n = 100, p₀ = 0,5, 5%: [40; 60], тобто частки від 0,40 до 0,60. Довірчий інтервал застосовують, коли спостерігається x: він дає діапазон для p (висновок назад; плитка «Обчислення за підсумковими статистиками»). Для порівняння поруч показано сигма-наближення μ ± 1,96 σ.

Для фахівців

Усі числа - точні біноміальні суми. K порівнюється з α з допуском 1e-7 (як це робить R за рівності, наприклад за точно P = 0,05). Двостороннє (two-tailed) p-значення - «центральний» метод (подвоєння); воно збігається з інтервалом Клоппера-Пірсона і доступне в пакеті R exactci як binom.exact(…, tsmethod = "central"). Перевірено щодо R (qbinom, pbinom, dbinom) і циклом по всіх критичних областях, друковані приклади: підготовка вчителів у Баден-Вюртемберзі (чипи пам’яті, кубики, їдальня).

Джерела

• Fay, M. P. (2010): Two-sided exact tests and matching confidence intervals for discrete data. The R Journal 2(1), 53-58.
• KMK: освітні стандарти з математики, загальна кваліфікація для вступу до університету (2012), провідна ідея «дані й випадковість»; Lösungswege 8 (ÖBV, австрійський підручник), розділ 7: односторонній (one-tailed) і двосторонній (two-tailed) критерій гіпотези з біноміальним розподілом.
• Підготовка вчителів у Баден-Вюртемберзі: перевірка гіпотез (стохастика).