Jaké skupiny jsou v datech? (shluková analýza)

Stručně

Chcete vědět, zda lze případy rozdělit do skupin podobných podle několika čísel - například studenty podle motivace, úzkosti a času na učení. Statable nabízí Wardovu metodu (spojování krok za krokem, s dendrogramem) a k-means (pevný počet skupin). Shlukové analýzy vždy najdou skupiny, i v náhodných datech; zda mají smysl, je otázka oboru.

Jak tabulka vypadá

Jeden řádek na případ, alespoň dva sloupce s čísly (nejvýše 30). Případy s chybějícími hodnotami v některém znaku se nezahrnují; jejich počet je vidět ve výsledku. Statable počítá se z-standardizovanými hodnotami, aby znak s velkými čísly (hodiny) nerozhodoval sám. Je to věcné rozhodnutí a lze to vypnout, mají-li všechny znaky stejnou jednotku.

Počet skupin

• Graf lokte ukazuje variabilitu uvnitř skupin pro každý počet skupin; kde se křivka ohýbá, další skupina přináší málo.
• Koeficient siluety (silhouette coefficient) měří, jak dobře každý případ sedí do své skupiny (−1 až 1). Nad ,50 ukazuje na rozumné skupiny, nad ,25 na slabé, pod tím je sotva vidět nějaká struktura. Statable uvede počet s největším koeficientem siluety jako nápovědu; rozhoduje člověk.

Čtení výsledku

• Profily ukazují pro každou skupinu průměr každého znaku a odchylku od celkového průměru ve směrodatných odchylkách. η² říká, jakou část variability znaku skupiny vysvětlují; pouze popisuje.
• Pro rozdíly mezi skupinami nejsou žádné hodnoty p: skupiny byly vytvořeny tak, aby se znaky lišily; test to jen zdánlivě „potvrdí“.
• U k-means výsledek ukazuje, v kolika z 25 startů bylo nalezeno nejlepší řešení. Při méně než 10 není řešení jednoznačné; pak je třeba zopakovat výpočet s jinou počáteční hodnotou generátoru. Statable používá 25 startů a ponechává řešení s nejmenší variabilitou; SPSS používá jeden start a může skončit u horšího řešení. Statable také pracuje s hodnotami z, SPSS se surovými hodnotami. Skupiny a jejich velikosti se proto mohou lišit.
• U metody Ward se zobrazuje výška každého spojení (jako v R), ne kumulativní koeficient ze SPSS. Přiřazení případů je stejné.

Požadavky a omezení

• Odlehlé hodnoty snadno tvoří vlastní skupinu; Statable upozorní na hodnoty nad 3,5 směrodatné odchylky a nic neodstraňuje. Velmi těsně související znaky se počítají dvakrát.
• Alespoň 10 případů a 3 na skupinu; pod 30 případů jsou skupiny nestabilní. Ward funguje do 3000 případů, k-means do 100 000. Text nebo kategorie jako znaky nefungují (vyžadují Gowerovu vzdálenost).
• Uložit skupiny jako nový sloupec lze jen na požádání. Tyto skupiny by se neměly používat k testování, zda se liší.

Uvedení výsledku

Wardova metoda (ward.D2, euklidovská, z-standardizovaně), 3 skupiny (n = 43, 39, 36); průměrný koeficient siluety (silhouette coefficient) = ,41

Pro odborníky

R 4.6 (stats): hclust(dist(Z), "ward.D2") s výškou √(2·ΔESS) (Murtagh & Legendre 2014); kmeans s Hartigan-Wong, iter.max = 100, 25 startů z různých případů, počáteční hodnota 20261008, Lloyd při přerušení. Skupiny jsou číslovány podle velikosti, aby čísla zůstala stejná při změně počáteční hodnoty. Koeficient siluety (silhouette coefficient) (Rousseeuw 1987) a η² v JavaScriptu, ověřeno proti cluster::silhouette.

Typické příklady

• Rozdělte studenty podle motivace, úzkosti, hodin učení a sebeúčinnosti do učebních skupin.
• Seřaďte školy do podobných skupin podle několika ukazatelů.