Statistisch signifikante Ergebnisse gegenüber praktisch signifikanter Ergebnisse in der SMT-Montage

Hallo Leute,

Jeden Tag werden wir den Ergebnissen von Umfragen und Abstimmungen ausgesetzt.  Ein typisches Beispiel wäre, dass in einer Abstimmung Präsident Obama vor Mitt Romney mit 48% zu 45% führt. Diese Ergebnisse sind aber statistisch nicht signifikant.  Eine berechtigte Frage wäre: “Was bedeutet es, statistisch signifikant zu sein ?”  

Um die statistische Signifikanz zu bestimmen, verwendet der Statistiker üblicherweise folgendes Kriterium: wenn nur eine 5 prozentige oder geringere Chance besteht, dass die Schlussfolgerung falsch ist, wird sie als statistisch signifikant betrachtet.  Das heißt, wenn eine andere Abstimmung behaupten würde, dass Präsident Obama mit 49% zu 44% anführt und sie wäre statistisch signifikant, wäre die statistische Wahrscheinlichkeit geringer als 5 %, dass die Schlussfolgerung falsch ist.  Das 5 %-Kriterium ist nicht in Stein gemeißelt. Manchmal wird auch 10%, 1%, oder gar 0,1% verwendet.  Traditionell wird jedoch 5 % als Standardwert für die "statistische Signifikanz" verwendet.  Es ist außerdem hilfreich zu verstehen, dass je mehr Datenpunkte die Probe enthält, desto höher ist die Wahrscheinlichkeit, dass sie statistisch signifikant ist.

Aber wenn ein paar Daten statistisch signifikant sind, sind sie dann auch immer "praktisch" signifikant?  Zum Beispiel, gehen wir davon aus, dass Sie Schokolade wirklich mögen.  Ihre Lieblingssorte befindet sich in einem Geschmackstest und schneidet mit einer 9,6 von 10 ab, wohingegen eine neue Schokolade mit 9,7/10 abschneidet und die Ergebnisse sind statistisch signifikant.  Die Kehrseite ist, dass die neue Schokolade 5 Mal so viel kostet.  Ist es das zusätzliche Geld wert, auf die neue Schokolade umzusteigen? In diesem Fall müssen wir die Frage stellen, ob der Unterschied praktisch signifikant ist.  Die Antwort lautet höchstwahrscheinlich "Nein". Ein Unterschied von 0,1 Punkten von 10 Punkten ist sehr gering und der Geschmack ist ohnehin subjektiv.  Hier wäre das Ergebnis praktisch nicht signifikant.  Die Subjektivität eines Tests kann bedeuten, dass Sie entweder den Unterschied nicht erkennen oder dass Sie Ihre Lieblingsschokolade noch immer am besten finden.

Lassen Sie uns ein weniger subjektives Beispiel betrachten.  Gehen wir davon aus, dass in einer bestimmten Anwendung Löt-Voiding eine entscheidendes Problem darstellt.  Nun messen Sie das Voiding der beiden Lötpasten.  Nachdem Sie hunderte Datenpunkte gesammelt haben, stellen Sie fest, dass das durchschnittliche Voiding der einen Lötpaste 8 % und das der anderen 7 % beträgt.  Die Analyse mit der Mintab®-Software sagt Ihnen, dass der Unterschied statistisch signifikant ist.  Ist der Unterschied auch praktisch signifikant?  Vermutlich nicht. 

Wie bestimmt man die praktische Signifikanz? Typischerweise durch Experimentieren oder in manchen Fällen durch Erfahrung.  Gehen wir in unserem Beispiel mit dem Löt-Voiding davon aus, dass Experimente gezeigt haben, dass es keine Probleme gibt so lange das Voiding durchschnittlich unter 30% liegt.  Unter diesem Aspekt, kann es sein, dass die Ingenieure vorgegeben haben, dass das Voiding durchschnittlich nicht über 25 % liegen darf.  (Diese gesamte Diskussion geht davon aus, dass die Verteilung oder standardmäßige Abweichung der Daten nicht groß ist, aber dies ist ein anderes Thema.)  In diesem Fall liegt der Unterschied also bei 7 und 8 Prozent Voiding und kann statistisch signifikant sein, jedoch nicht praktisch signifikant.  Ein vorsichtiger Ingenieur könnte also die 8% Paste wählen, wenn sie andere gewünschte Fähigkeiten besitzen würde, wie beispielsweise ein besseres Pausenverhalten, oder einen besseren Widerstand gegenüber Graping, oder einen verbesserten Head-in-Pillow-Defekt.

Stellen Sie sich also immer die Frage, ob der Unterschied statistisch und praktisch ist

Das Bild zeigt das Graping einer Lötverbindung, was häufiger ein Problem darstellt, als das Voiding.

Bis bald!

Dr. Ron