Quels groupes y a-t-il dans les données ? (analyse de cluster)

En bref

Vous voulez savoir si des observations peuvent être réparties en groupes qui se ressemblent sur plusieurs nombres - par exemple des étudiants selon la motivation, l’anxiété et le temps d’étude. Statable propose la méthode de Ward (réunion pas à pas, avec un dendrogramme) et les k-moyennes (un nombre fixé de groupes). Les analyses de cluster trouvent toujours des groupes, même dans des données aléatoires ; qu’ils aient un sens relève de la discipline.

À quoi ressemble le tableau

Une ligne par observation, au moins deux colonnes de nombres (au plus 30). Les observations avec des valeurs manquantes dans l’une des caractéristiques ne sont pas incluses ; leur nombre figure dans le résultat. Statable calcule sur des valeurs z-standardisées pour qu’une caractéristique à grands nombres (des heures) ne décide pas seule. C’est une décision de la discipline, que l’on peut désactiver si toutes les caractéristiques ont la même unité.

Le nombre de groupes

• Le graphique du coude montre la dispersion intragroupe pour chaque nombre de groupes ; là où la courbe se plie, un groupe de plus n’apporte guère.
• La silhouette mesure dans quelle mesure chaque observation s’accorde avec son groupe (−1 à 1). Au-dessus de ,50, cela indique des groupes raisonnables, au-dessus de ,25 des groupes faibles, en dessous on ne voit guère de structure. Statable nomme comme indication le nombre ayant la plus grande silhouette ; la personne décide.

Lire le résultat

• Les profils montrent, pour chaque groupe, la moyenne de chaque caractéristique et l’écart par rapport à la moyenne générale en écarts types. η² indique quelle part de la dispersion d’une caractéristique les groupes expliquent ; il décrit seulement.
• Il n’y a pas de valeurs p pour les différences entre les groupes : les groupes ont été formés pour que les caractéristiques diffèrent ; un test ne le « confirme » qu’en apparence.
• Pour les k-moyennes, le résultat indique dans combien des 25 départs la meilleure solution a été trouvée. Avec moins de 10, la solution n’est pas unique ; répétez alors avec une autre graine. Statable utilise 25 départs et retient la solution à la plus petite dispersion ; SPSS utilise un seul départ et peut s’arrêter sur une moins bonne solution. Statable travaille en outre avec des valeurs z, SPSS avec des valeurs brutes. Les groupes et leurs effectifs peuvent donc différer.
• Pour Ward, la hauteur de chaque fusion est affichée (comme dans R), et non le coefficient cumulé de SPSS. L’affectation des observations est la même.

Conditions et limites

• Les valeurs aberrantes forment facilement un groupe à part ; Statable signale les valeurs au-delà de 3,5 écarts types et ne retire rien. Des caractéristiques très étroitement liées comptent deux fois.
• Au moins 10 observations et 3 par groupe ; en dessous de 30 observations, les groupes sont instables. Ward fonctionne jusqu’à 3000 observations, les k-moyennes jusqu’à 100 000. Du texte ou des catégories comme caractéristiques ne conviennent pas (il faudrait la distance de Gower).
• L’enregistrement des groupes dans une nouvelle colonne n’est possible que sur demande. Ces groupes ne doivent pas servir à tester s’ils diffèrent.

Rapporter le résultat

Méthode de Ward (ward.D2, euclidienne, z-standardisée), 3 groupes (n = 43, 39, 36) ; silhouette moyenne = ,41

Pour les spécialistes

R 4.6 (stats) : hclust(dist(Z), "ward.D2") avec la hauteur √(2·ΔESS) (Murtagh et Legendre 2014) ; kmeans avec Hartigan-Wong, iter.max = 100, 25 départs à partir d’observations distinctes, graine 20261008, Lloyd en cas d’abandon. Les groupes sont numérotés par taille pour que les numéros restent les mêmes quand la graine change. Silhouette (Rousseeuw 1987) et η² en JavaScript, vérifiés par rapport à cluster::silhouette.

Exemples typiques

• Répartir des étudiants en groupes d’apprentissage selon la motivation, l’anxiété, les heures d’étude et le sentiment d’efficacité personnelle.
• Classer des écoles en groupes semblables selon plusieurs indicateurs.