Які групи є в даних? (кластерний аналіз)
Коротко
Ви хочете дізнатися, чи можна поділити спостереження на групи, схожі за кількома числами - наприклад, студентів за мотивацією, тривожністю та часом навчання. Statable пропонує метод Уорда (покрокове об’єднання, з дендрограмою) і метод k-середніх (фіксована кількість груп). Кластерні аналізи завжди знаходять групи, навіть у випадкових даних; чи мають вони сенс - питання предметної галузі.
Як виглядає таблиця
Один рядок на спостереження, щонайменше два стовпці з числами (не більше 30). Спостереження з пропущеними значеннями в одній з ознак не враховуються; їхню кількість показано в результаті. Statable обчислює на z-стандартизованих значеннях, щоб ознака з великими числами (години) не вирішувала самостійно. Це рішення предметної галузі, його можна вимкнути, якщо всі ознаки мають однакову одиницю.
Кількість груп
- Графік ліктя показує розсіювання всередині груп для кожної кількості груп; де крива згинається, ще одна група додає мало.
- Коефіцієнт силуету вимірює, наскільки добре кожне спостереження пасує до своєї групи (від −1 до 1). Понад ,50 свідчить про розумні групи, понад ,25 - про слабкі, нижче майже не видно структури. Statable називає кількість із найбільшим коефіцієнтом силуету як підказку; рішення ухвалює людина.
Як читати результат
- Профілі показують для кожної групи середнє кожної ознаки й відхилення від загального середнього (grand mean) в стандартних відхиленнях. η² показує, яку частку розсіювання ознаки пояснюють групи; вона лише описує.
- p-значень для відмінностей між групами немає: групи сформовано так, щоб ознаки відрізнялися; критерій лише на позір це «підтверджує».
- Для методу k-середніх результат показує, у скількох із 25 запусків знайдено найкращий розв’язок. Якщо таких запусків менше 10, розв’язок неоднозначний; тоді повторіть обчислення з іншим початковим значенням. Statable використовує 25 запусків і зберігає розв’язок із найменшим розсіюванням; SPSS використовує один запуск і може зупинитися на гіршому розв’язку. Крім того, Statable працює із z-значеннями, а SPSS - з необробленими значеннями. Тому групи та їхні розміри можуть відрізнятися.
- Для методу Ward показано висоту кожного об’єднання (як у R), а не кумулятивний коефіцієнт із SPSS. Віднесення спостережень до груп однакове.
Умови та обмеження
- Викиди легко утворюють власну групу; Statable вказує на значення понад 3,5 стандартного відхилення й нічого не видаляє. Дуже тісно пов’язані ознаки враховуються двічі.
- Щонайменше 10 спостережень і 3 на групу; менше 30 спостережень групи нестабільні. Метод Уорда працює до 3000 спостережень, метод k-середніх - до 100 000. Текст чи категорії як ознаки не підходять (потрібна відстань Gower).
- Зберегти групи як новий стовпець можна лише на вимогу. Ці групи не слід використовувати, щоб перевіряти, чи вони відрізняються.
Подання результату
Метод Уорда (ward.D2, евклідова, z-стандартизовано), 3 групи (n = 43, 39, 36); середній коефіцієнт силуету = ,41
Для фахівців
R 4.6 (stats): hclust(dist(Z), "ward.D2") з висотою √(2·ΔESS) (Murtagh & Legendre 2014); kmeans з Hartigan-Wong, iter.max = 100, 25 запусків із різних спостережень, початкове значення 20261008, Lloyd у разі переривання. Групи нумеруються за розміром, щоб номери не змінювалися зі зміною початкового значення. Коефіцієнт силуету (Rousseeuw 1987) та η² у JavaScript, перевірено за cluster::silhouette.
Типові приклади
- Поділіть студентів за мотивацією, тривожністю, годинами навчання й самоефективністю на навчальні групи.
- Розділіть школи на схожі групи за кількома показниками.