Statistiquement significatif versus pratiquement significatif dans le recueil de données sur le montage en surface

Les amis,

Supposons que votre entreprise ait décidé que l'efficacité du transfert (ET) est la mesure clé pour déterminer la qualité d’une crème à souder. L'efficacité du transfert est le rapport entre le volume du dépôt de crème à souder et le volume de l'ouverture du pochoir. Si vous convenez que l'ET est une grandeur importante, vous serez un peu troublé par les récents résultats d'une évaluation de crème à souder. Deux crèmes sur dix rivalisent pour la première place et il semble que l’ET sera la grandeur décisive. La crème A a une ET de 99,5 % et la crème B a une ET de 99 %. La direction veut donc utiliser la crème A. Vous êtes inquiet car la crème A réagit mal à la pause. Si elle reste sur le pochoir pendant 15 minutes ou plus, la première impression doit être rejetée. Cette faiblesse peut se traduire par une perte de temps de production d'environ 30 minutes pour une opération à trois quarts d’équipes.

Cependant, les résultats du test sur l’ET ont montré que l’ET de la crème A était significativement meilleure que celle de la crème B. Vous pensez à cela et il y a quelque chose qui cloche… 99,5 % et 99 %, c’est plutôt proche.

Vous dépoussiérez votre manuel de statistiques et vérifiez les hypothèses. Alors vous comprenez, avec des échantillons de très grande taille, des moyennes de plus en plus proches peuvent être statistiquement différentes.

Les données montrent que la crème A a une moyenne de 99,5 % et un écart-type de 10 %, tandis que la crème B a une moyenne de 99 % et un écart-type de 10 %. La taille des échantillons était de 10 000 échantillons chacune. Ces grandes tailles d'échantillons sont importantes dans l'analyse. L'écart type de la moyenne est utilisé pour comparer les moyennes dans un test d'hypothèses. Il est défini par l'écart-type (s) divisé par la racine carrée de la taille de l'échantillon (n) :

Ainsi, à mesure que la taille de l'échantillon augmente, l'écart type de la moyenne devient plus petit ou, en jargon statistique, plus "resserré". Avec des échantillons de très grande taille, cette étroitesse permet de distinguer statistiquement des moyennes de plus en plus rapprochées. Cette situation n'était pas préoccupante avec des tailles d'échantillon inférieures à 100, mais avec les systèmes modernes de balayage de volume de crème à souder d'aujourd'hui, les tailles d'échantillon supérieures à 1000 sont courantes.

La figure 1 montre la distribution prévue de la moyenne pour les échantillons ayant une ET de 99,5 % et 99,0 % et une taille d'échantillon de 100, les deux ayant un écart-type de 10 %. Admettez qu'a priori, vous ne voyez pas beaucoup de différence. Cependant, avec des moyennes et des écarts types identiques et des échantillons de 10 000, les distributions de la moyenne sont clairement différentes dans la figure 2.

La réalité, cependant, est qu'il n'y a pas de différence dans les résultats des figures 1 et 2. La minuscule différence dans les moyennes (0,5 %) peut être statistiquement significative avec un échantillon de 10 000, mais est-elle pratiquement significative ? Cette petite différence serait-elle vraiment importante dans un environnement de production ? Il est presque certain que non.

Figure 1. Distribution de la moyenne pour un échantillon de 100.

Figure 2 Distribution de la moyenne pour un échantillon de 10 000.

Ainsi, avec des échantillons de grande taille, nous devons nous demander si la différence est pratique. Concernant l’ET, je pense que nous pouvons être sûrs qu'une différence de 0,5 % n'est pas pratiquement significative. Mais, que se passe-t-il si la différence est de 2 ou 5 % ? Il est évident qu'il faut faire des expériences pour déterminer à quel niveau une différence est significative.

Dans le cas évoqué ci-dessus, je préférerais de loin la crème ayant une ET de 99,0 % et une bonne réponse à la pause.

Merci,

Docteur Ron