Новости HRTech, интересные идеи о Digital HR в нашем канале в Telegram: https://t.me/WebsoftHR

О размере выборки (замечание к кейсу оценки эффективности очного и дистанционного обучения)

Одним из главных контраргументов против моих кейсов является тезис "размер выборки мал".
Решил я ответить на этот тезис. Раз и навсегда.
Но не обижайтесь, если кому то покажется, что "папа, ты сейчас с кем говорил?".
Напомню, в Кейс по оценке эффективности очного и дистанционного обучения была группа очников - 13 человек и группа дистанционников - 24 человека.
T критерий Стьюдента показывает значимость различий. Вроде бы этого достаточно, но мне возражают: группы маленькие, нужно побольше.
Ок, давайте посчитаем мощность теста при заданных параметрах.
В нашем случае размер группы можно определить исходя из следующих параметров:
d - Effect size Cohen's d - думаю, вы сможете сами в excel высчитать величину 0,9.
уровнем значимости - он у нас по умолчанию - 0, 05
После чего мы заходим в любимую программу аналитиков Rstudio и считаем мощность теста.
library(pwr)
pwr.t2n.test(n1 = 13, n2 = 24, d=.9, sig.level=.05)

Результат

Two-sample t test power calculation

              t test power calculation
             n1 = 13
             n2 = 24
              d = 0.9
      sig.level = 0.05
          power = 0.7194678
    alternative = two.sided
Мощность теста 0, 72. Только очень придирчивый аналитик скажет, что мы не дотягиваем до уровня мощности в 0, 8. Но я тогда скажу, что нам направленность гипотезы известна, и мы можем применить односторонний тест, тогда все условия будут соблюдены.
А кто то скажет: а вообще имеет смысл использовать Post hoc анализ? А именно: мы должны были изначально определить потребный уровень effect cize, а исходя из него танцевать. А для этого нужно понимать глубоко тест.
И кто нибудь еще задастся вопросом: а мы вообще правомочны T критерий Стьюдента использовать?
И тогда в данном случае все становится проще

ПыСы.

Подробнее про размер выборки здесь Эмпирические правила статистики, или Что нужно помнить о размерах выборки
Коллеги, будут возникать задачки по размеру выборки - обращайтесь))) 


Популярные сообщения из этого блога

Только без рук, или Как в системе обучения автоматизировать все, что делалось вручную

Кто владеет информацией тот владеет миром, или как создать быстро работающую базу знаний с «умным» поиском

Опыт внедрения WebTutor в ПАО «Транснефть»

Классификация HR-систем

Стандарты электронного обучения - CMI5 vs SCORM - сравнительная таблица