Как оценить статистическую значимость
Проверка гипотез проводится с помощью статистического анализа. Статистическую значимость находят с помощью Р-значения, которое соответствует вероятности данного события при предположении, что некоторое утверждение (нулевая гипотеза) истинно. Если Р-значение меньше заданного уровня статистической значимости (обычно это 0,05), экспериментатор может смело заключить, что нулевая гипотеза неверна, и перейти к рассмотрению альтернативной гипотезы. С помощью t-критерия Стьюдента можно вычислить Р-значение и определить значимость для двух наборов данных.
1. **Определите свою гипотезу.** Первый шаг при оценке статистической значимости состоит в том, чтобы выбрать вопрос, ответ на который вы хотите получить, и сформулировать гипотезу. Гипотеза — это утверждение об экспериментальных данных, их распределении и свойствах. Для любого эксперимента существует как нулевая, так и альтернативная гипотеза. Вообще говоря, вам придется сравнивать два набора данных, чтобы определить, схожи они или различны.

Нулевая гипотеза (H0) обычно утверждает, что между двумя наборами данных нет разницы. Например: те ученики, которые читают материал перед занятиями, не получают более высокие оценки.
Альтернативная гипотеза (Ha) противоположна нулевой гипотезе и представляет собой утверждение, которое нужно подтвердить с помощью экспериментальных данных. Например: те ученики, которые читают материал перед занятиями, получают более высокие оценки.
2. **Установите уровень значимости, чтобы определить, насколько распределение данных должно отличаться от обычного, чтобы это можно было считать значимым результатом.** Уровень значимости (его называют также α{\displaystyle \alpha }-уровнем) — это порог, который вы определяете для статистической значимости. Если Р-значение меньше уровня значимости или равно ему, данные считаются статистически значимыми.

Как правило, уровень значимости (значение α{\displaystyle \alpha }) принимается равным 0,05, и в этом случае вероятность обнаружения случайной разницы между разными наборами данных составляет всего лишь 5%.
Чем выше уровень значимости (и, соответственно, меньше Р-значение), тем достовернее результаты.
Если вы хотите получить более достоверные результаты, понизьте Р-значение до 0,01. Как правило, более низкие Р-значения используются в производстве, когда необходимо выявить брак в продукции. В этом случае требуется высокая достоверность, чтобы быть уверенным, что все детали работают так, как положено.
Для большинства экспериментов с гипотезами достаточно принять уровень значимости равным 0,05.
3. **Решите, какой критерий вы будете использовать:** односторонний или двусторонний. Одно из предположений в t-критерии Стьюдента гласит, что данные распределены нормальным образом. Нормальное распределение представляет собой колоколообразную кривую с максимальным количеством результатов посередине кривой. t-критерий Стьюдента — это математический метод проверки данных, который позволяет установить, выпадают ли данные за  пределы нормального распределения (больше, меньше, либо в “хвостах” кривой).

Если вы не уверены, находятся ли данные выше или  ниже контрольной группы значений, используйте двусторонний критерий. Это позволит вам определить значимость в обоих направлениях.
Если вы знаете, в каком направлении данные могут выйти за пределы нормального распределения, используйте односторонний критерий. В приведенном выше примере мы ожидаем, что оценки студентов повысятся, поэтому можно использовать односторонний критерий.
4. **Определите объем выборки с помощью статистической мощности.** Статистическая мощность исследования — это вероятность того, что при данном объеме выборки получится ожидаемый результат. Распространенный порог мощности (или β) составляет 80%. Анализ статистической мощности без каких-либо предварительных данных может представлять определенные сложности, поскольку требуется некоторая информация об ожидаемых средних значениях в каждой группе данных и об их стандартных отклонениях. Используйте для анализа статистической мощности онлайн-калькулятор, чтобы определить оптимальный объем выборки для ваших данных.

Обычно ученые проводят небольшое пробное исследование, которое позволяет получить данные для анализа статистической мощности и определить объем выборки, необходимый для более расширенного и полного исследования.
Если у вас нет возможности провести пробное исследование, постарайтесь на основании литературных данных и результатов других людей оценить возможные средние значения. Возможно, это поможет вам определить оптимальный объем выборки.
5. **Запишите формулу для стандартного отклонения.** Стандартное отклонение показывает, насколько велик разброс данных. Оно позволяет заключить, насколько близки данные, полученные на определенной выборке. На первый взгляд формула кажется довольно сложной, но приведенные ниже объяснения помогут понять ее. Формула имеет следующий вид: s = √∑((xi – µ)/(N – 1)).

s — стандартное отклонение;
знак ∑ указывает на то, что следует сложить все полученные на выборке данные;
xi соответствует i-му значению, то есть отдельному полученному результату;
µ — это среднее значение для данной группы;
N — общее число данных в выборке.
6. **Найдите среднее значение в каждой группе.** Чтобы вычислить стандартное отклонение, необходимо сначала найти среднее значение для каждой исследуемой группы. Среднее значение обозначается греческой буквой µ (мю). Чтобы найти среднее, просто сложите все полученные значения и поделите их на количество данных (объем выборки).

Например, чтобы найти среднюю оценку в группе тех учеников, которые изучают материал перед занятиями, рассмотрим небольшой набор данных. Для простоты используем набор из пяти точек: 90, 91, 85, 83 и 94.
Сложим вместе все значения: 90 + 91 + 85 + 83 + 94 = 443.
Поделим сумму на число значений, N = 5: 443/5 = 88,6.
Таким образом, среднее значение для данной группы составляет 88,6.
7. **Вычтите из среднего каждое полученное значение.** Следующий шаг заключается в вычислении разницы (xi – µ). Для этого следует вычесть из найденной средней величины каждое полученное значение. В нашем примере необходимо найти пять разностей:

(90 – 88,6), (91- 88,6), (85 – 88,6), (83 – 88,6) и (94 – 88,6).
В результате получаем следующие значения: 1,4, 2,4, -3,6, -5,6 и 5,4.
8. **Возведите в квадрат каждую полученную величину и сложите их вместе.** Каждую из только что найденных величин следует возвести в квадрат. На этом шаге исчезнут все отрицательные значения. Если после данного шага у вас останутся отрицательные числа, значит, вы забыли возвести их в квадрат.

Для нашего примера получаем 1,96, 5,76, 12,96, 31,36 и 29,16.
Складываем полученные значения: 1,96 + 5,76 + 12,96 + 31,36 + 29,16 = 81,2.
9. **Поделите на объем выборки минус 1.** В формуле сумма делится на N – 1 из-за того, что мы не учитываем генеральную совокупность, а берем для оценки выборку из числа всех студентов.

Вычитаем: N – 1 = 5 – 1 = 4
Делим: 81,2/4 = 20,3
10. **Извлеките квадратный корень.** После того как вы поделите сумму на объем выборки минус один, извлеките из найденного значения квадратный корень. Это последний шаг в вычислении стандартного отклонения. Есть статистические программы, которые после введения начальных данных производят все необходимые вычисления.
В нашем примере стандартное отклонение оценок тех учеников, которые читают материал перед занятиями, составляет s =√20,3 = 4,51.
11. **Рассчитайте дисперсию между двумя группами данных.** До этого шага мы рассматривали пример лишь для одной группы данных. Если вы хотите сравнить две группы, очевидно, следует взять данные для обеих групп. Вычислите стандартное отклонение для второй группы данных, а затем найдите дисперсию между двумя экспериментальными группами. Дисперсия вычисляется по следующей формуле: sd = √((s1/N1) + (s2/N2)).

sd — дисперсия между двумя группами.
s1 — стандартное отклонение в группе 1, N1 — объем выборки в группе 1.
s2 — стандартное отклонение в группе 2, N2 — объем выборки в группе 2.
В нашем примере предположим, что объем выборки в группе 2 (учащиеся, которые не читают материал перед занятиями) равен 5, а стандартное отклонение составляет 5,81. Находим дисперсию:

sd = √((s1)/N1) + ((s2)/N2))
sd = √(((4,51)/5) + ((5,81)/5)) = √((20,34/5) + (33,76/5)) = √(4,07 + 6,75) = √10,82 = 3,29.
12. **Найдите t-оценку данных.** Эта величина дает возможность перевести данные в форму, которая позволяет сравнить их с другими данными. t-оценки позволяют проверить t-критерий и найти, насколько вероятности двух групп отличаются друг от друга. Для вычисления t-оценки используется следующая формула: t = (µ1 – µ2)/sd.

µ1 — среднее значение для первой группы.
µ2 — среднее значение для второй группы.
sd — дисперсия между двумя выборками.
В качестве µ1 используйте большее среднее значение, чтобы t-оценка  не получилась отрицательной.
В нашем примере предположим, что среднее значение для группы 2 (те, кто не читает) составляет 80. Находим t-оценку: t = (µ1 – µ2)/sd = (88,6 – 80)/3,29 = 2,61.
13. **Определите степень свободы сделанной выборки.** В случае t-оценки степень свободы определяется по объему выборки. Сложите объемы двух выборок и вычтите из суммы 2. В нашем примере степень свободы (с.с.) равна 8, поскольку первая и вторая выборки содержат по пять значений: (5 + 5) – 2 = 8.
14. **Оцените значимость по таблице значений критерия Стьюдента (t-критерия).** Эту таблицу  и степени свободы можно найти в справочнике по статистике или интернете. Отыщите строку, в которой содержится найденная вами степень свободы, и определите соответствующее t-оценке Р-значение.
При степени свободы 8 и t-оценке 2,61 Р-значение для одностороннего критерия попадает между 0,01 и 0,025. Поскольку мы выбрали уровень значимости 0,05, наши данные являются статистически значимыми. Ввиду этого мы отказываемся от нулевой гипотезы и принимаем альтернативную гипотезу, которая гласит: те ученики, которые читают материал перед занятиями, получают более высокие оценки.
15. **Подумайте о том, чтобы продолжить исследования.** Многие ученые сначала проводят небольшое пробное исследование с малым количеством измерений, чтобы понять, как следует организовать более крупное исследование. Расширенное исследование с бльшим числом измерений позволит вам повысить достоверность сделанных выводов.