Какви групи има в данните? (клъстерен анализ)

Накратко

Искате да разберете дали случаите могат да се разделят на групи, сходни по няколко числа - например студенти по мотивация, тревожност и време за учене. Statable предлага метода на Уорд (Ward's method) (обединяване стъпка по стъпка, с дендрограма) и k-means (фиксиран брой групи). Клъстерните анализи винаги намират групи, дори в случайни данни; дали имат смисъл, е въпрос на предметната област.

Как изглежда таблицата

Един ред на случай, поне две колони с числа (най-много 30). Случаите с липсващи стойности в някой от признаците не се включват; броят им се показва в резултата. Statable изчислява със z-стандартизирани стойности, за да не решава сам признак с големи числа (часове). Това е решение на предметната област и може да се изключи, ако всички признаци имат една и съща единица.

Броят на групите

• Графиката на лакътя показва разсейването вътре в групите за всеки брой групи; където кривата се огъва, още една група добавя малко.
• Коефициентът на силуета (silhouette coefficient) измерва колко добре всеки случай пасва в своята група (от −1 до 1). Над ,50 сочи към разумни групи, над ,25 към слаби, под това почти не се вижда структура. Statable посочва броя с най-голям коефициент на силуета като указание; решава човекът.

Прочитане на резултата

• Профилите показват за всяка група средната стойност на всеки признак и отклонението от общата средна стойност в стандартни отклонения. η² казва каква част от разсейването на един признак обясняват групите; тя само описва.
• Няма p-стойности за разликите между групите: групите са образувани така, че признаците да се различават; един критерий само привидно го „потвърждава“.
• При k-means резултатът показва в колко от 25-те стартирания е намерено най-доброто решение. При по-малко от 10 решението не е еднозначно; тогава се повтаря с друго начално число. Statable използва 25 стартирания и запазва решението с най-малко разсейване; SPSS използва едно стартиране и може да спре при по-лошо решение. Statable работи и със z-стойности, SPSS - със суровите стойности. Затова групите и техните размери може да се различават.
• При Ward се показва височината на всяко сливане (както в R), а не натрупаният коефициент от SPSS. Отнасянето на случаите към групите е същото.

Изисквания и ограничения

• Отдалечените стойности лесно образуват собствена група; Statable посочва стойности над 3,5 стандартни отклонения и не премахва нищо. Много тясно свързани признаци се броят двойно.
• Поне 10 случая и по 3 на група; под 30 случая групите са нестабилни. Методът на Уорд (Ward's method) работи до 3000 случая, k-means до 100 000. Текст или категории като признаци не работят (изискват разстоянието на Gower).
• Запазването на групите като нова колона е възможно само при поискване. Тези групи не бива да се използват за проверка дали се различават.

Съобщаване на резултата

Метод на Уорд (ward.D2, евклидово, z-стандартизирано), 3 групи (n = 43, 39, 36); среден коефициент на силуета (silhouette coefficient) = ,41

За специалисти

R 4.6 (stats): hclust(dist(Z), "ward.D2") с височина √(2·ΔESS) (Murtagh & Legendre 2014); kmeans с Hartigan-Wong, iter.max = 100, 25 стартирания от различни случаи, начално число 20261008, Lloyd при прекъсване. Групите са номерирани по големина, така че номерата да остават същите при промяна на началното число. Коефициент на силуета (Rousseeuw 1987) и η² в JavaScript, проверени спрямо cluster::silhouette.

Типични примери

• Разделете студентите по мотивация, тревожност, часове за учене и самоефективност на учебни групи.
• Подредете училищата в сходни групи по няколко показателя.