Jakie grupy kryją się w danych? (analiza skupień)

W skrócie

Chcesz wiedzieć, czy przypadki można podzielić na grupy podobne pod względem kilku liczb - na przykład studentów według motywacji, lęku i czasu nauki. Statable oferuje metodę Warda (łączenie krok po kroku, z dendrogramem) i metodę k-średnich (ustalona liczba grup). Analizy skupień zawsze znajdują grupy, nawet w danych losowych; to, czy mają sens, jest kwestią merytoryczną.

Jak wygląda tabela

Jeden wiersz na przypadek, co najmniej dwie kolumny z liczbami (najwyżej 30). Przypadki z brakami danych w którejś z cech nie są uwzględniane; ich liczbę widać w wyniku. Statable liczy na wartościach po standaryzacji z, aby cecha o dużych liczbach (godziny) nie decydowała sama. Jest to decyzja merytoryczna i można ją wyłączyć, jeśli wszystkie cechy mają tę samą jednostkę.

Liczba grup

• Wykres łokcia pokazuje rozrzut wewnątrz grup dla każdej liczby grup; tam, gdzie krzywa się zagina, kolejna grupa wnosi niewiele.
• Współczynnik sylwetki mierzy, jak dobrze każdy przypadek pasuje do swojej grupy (od −1 do 1). Powyżej ,50 wskazuje na rozsądne grupy, powyżej ,25 na słabe, poniżej prawie nie widać struktury. Statable podaje liczbę z największym współczynnikiem sylwetki (silhouette coefficient) jako wskazówkę; decyzję podejmuje osoba.

Odczytywanie wyniku

• Profile pokazują dla każdej grupy średnią każdej cechy i odchylenie od średniej ogólnej w odchyleniach standardowych. η² mówi, jaka część rozrzutu cechy jest wyjaśniana przez grupy; tylko opisuje.
• Nie ma wartości p dla różnic między grupami: grupy utworzono tak, aby cechy się różniły; test tylko pozornie to „potwierdza”.
• W metodzie k-średnich wynik pokazuje, w ilu z 25 startów znaleziono najlepsze rozwiązanie. Przy mniej niż 10 rozwiązanie nie jest jednoznaczne; wtedy powtórz obliczenia z innym ziarnem. Statable używa 25 startów i zachowuje rozwiązanie z najmniejszym rozrzutem; SPSS używa jednego startu i może zatrzymać się na gorszym rozwiązaniu. Statable pracuje też z wartościami z, SPSS z wartościami surowymi. Dlatego grupy i ich liczebności mogą się różnić.
• W metodzie Warda pokazana jest wysokość każdego połączenia (jak w R), a nie skumulowany współczynnik z SPSS. Przyporządkowanie przypadków jest takie samo.

Założenia i ograniczenia

• Wartości odstające łatwo tworzą własną grupę; Statable wskazuje wartości powyżej 3,5 odchylenia standardowego i niczego nie usuwa. Bardzo silnie powiązane cechy liczą się podwójnie.
• Co najmniej 10 przypadków i 3 na grupę; poniżej 30 przypadków grupy są niestabilne. Metoda Warda działa do 3000 przypadków, metoda k-średnich do 100 000. Tekst lub kategorie jako cechy nie działają (wymagają odległości Gowera).
• Zapisanie grup jako nowej kolumny jest możliwe tylko na życzenie. Tych grup nie należy używać do testowania, czy się różnią.

Raportowanie wyniku

Metoda Warda (ward.D2, euklidesowa, po standaryzacji z), 3 grupy (n = 43, 39, 36); średni współczynnik sylwetki (silhouette coefficient) = ,41

Dla specjalistów

R 4.6 (stats): hclust(dist(Z), "ward.D2") z wysokością √(2·ΔESS) (Murtagh & Legendre 2014); kmeans z Hartigan-Wong, iter.max = 100, 25 startów z różnych przypadków, ziarno 20261008, Lloyd przy przerwaniu. Grupy są numerowane według wielkości, aby numery pozostały takie same przy zmianie ziarna. Współczynnik sylwetki (Rousseeuw 1987) i η² w JavaScript, sprawdzone względem cluster::silhouette.

Typowe przykłady

• Podziel studentów według motywacji, lęku, godzin nauki i poczucia własnej skuteczności na grupy uczące się.
• Posortuj szkoły w podobne grupy według kilku wskaźników.