Les différences dans une mesure sont-elles significatives en pratique si elles sont statistiquement significatives ?

Les amis,

Avec l'avènement des appareils d'imagerie modernes, il est maintenant possible de mesurer l'efficacité du transfert (ET) de milliers d'impressions au pochoir avec crème à souder pour CMS. Il s'ensuit que le fait d'être statistiquement significatif est souvent sans signification. Je m'explique par l'exemple.

Disons qu'il y a environ 30 ans, quelqu'un a mesuré l'ET de 25 impressions avec la crème à souder 1 et a obtenu une moyenne de 90 % avec un écart type de 10 %. La crème à souder 2, également avec 25 impressions, lui a donné une ET moyenne de 95 % avec un écart type de 15 %. En utilisant un logiciel comme Minitab®, il est facile de montrer que ces deux ensembles de données ne sont pas significativement différents du point de vue statistique, avec un intervalle de confiance de 95 %. Cette situation est facile à visualiser si on trace l'intervalle de confiance de la moyenne (ICM). Les deux ne sont statistiquement différents que si les intervalles de confiance ne se chevauchent pas, ce qui n'est pas le cas, comme on le voit sur la figure 1.

                                                                           Intervalle de confiance de l'ET pour la crème à souder 1

                                                                                                          Intervalle de confiance de l'ET pour la crème à souder 2

Figure 1. Comme les ICM se chevauchent, les moyennes ne sont pas significativement différentes d'un point de vue statistique.

Aujourd'hui, on mènerait probablement l'expérience avec 5 000 impressions. Supposons, dans ce cas, que la crème à souder 1 ait une ET moyenne de 94,5 % avec un écart type de 10 % et que la crème à souder 2 ait une ET moyenne de 95 % et un écart-type de 15 %. Même avec cette petite différence de seulement 0,5 %, la différence est statistiquement significative. Cette découverte est illustrée si on trace les ICM comme on l'a vu à la Figure 2. Ils ne se chevauchent pas. La raison de ce changement important est que l'erreur type de la moyenne (ETM) dépend de l'inverse de la racine carrée de la taille de l'échantillon. Au fur et à mesure que la taille de l'échantillon augmente, l'ETM devient plus petite et l'ICM se resserre.

     Intervalle de confiance de l'ET pour la crème à souder 1

     Moyenne = 94,5

                                                                                              Intervalle de confiance de l'ET pour la crème à souder 2

                                                                                              Moyenne = 95

Figure 2. Avec une taille d'échantillon de 5 000, même une différence dans les moyennes de seulement 0,5 % est statistiquement significative.

Ceci soulève la question, la différence est-elle significative ? Probablement pas. Avec une taille d'échantillon suffisamment grande, toute différence deviendra statistiquement significative. Dans ce cas, nous devons nous demander : « Est-ce significatif dans la pratique ? » Nous seuls pouvons définir ce que signifie être « pratiquement significatif ». Je pense que la plupart d'entre nous partagent l'avis qu'une différence de 0,5 % n'est pas pratiquement significative. Ceci serait particulièrement vrai si la crème à souder 1 possédait d'autres propriétés qui seraient bien meilleures que celles de la crème à souder 2.

Alors, demandez-vous toujours : « Si une différence est statistiquement significative, est-elle aussi pratiquement significative ? »

Merci,

Docteur Ron