Indium 사의 블로그

SMT 조립에서 통계적으로 중요한 결과 vs 현실적으로 중요한 결과

Monday, September 17, 2012

여러분,

우리는 날마다 설문조사와 여론조사 결과에 접하게 됩니다. 그 전형적인 한가지 예는 여론 조사에서 오바마 대통령이 미트 롬니(Mitt Romney)를 48%대 45%로 앞서고 있다는 것인데, 그 결과는 통계적으로는 그다지 중요하지 않습니다. “통계적으로 중요 하다는 것이 무슨 뜻이죠?”라는 합리적인 질문이 나올 수 있겠지요.

통계적 중요성을 결정하기 위해 통계전문가는 결론이 틀릴 가능성이 5% 이하일 경우만 통계적으로 중요한 것이라는 기준을 사용합니다. 그러므로 또 다른 여론조사에서 오바마 대통령이 49%대 44%로 앞서고 있다는 결과가 나왔을 경우, 통계적으로, 결론이 틀릴 가능성은 5% 이하입니다. 이 5%라는 기준은 확고하게 고정되어 있는 것은 아닙니다. 때로는 10%, 1%, 심지어는 0.1%를 기준으로 삼을 수도 있습니다. 전통적으로 5%가 "통계적 중요성"에 대한 기본값으로 주어져 있습니다. 샘플에 데이터 포인트가 많을수록 결과가 통계적으로 중요한 것이 될 가능성이 높아진다는 사실을 알아두시면 좋습니다.

그렇지만, 통계적으로 중요한 데이터가 언제나 "현실적으로" 중요한 것일까요? 예를 들어, 당신이 초콜릿을 정말 좋아한다고 해보죠. 미각 시험에서 당신이 좋아하는 브랜드가 10점 만점에 9.6점을 받은 한편 신제품 초콜릿은 9.7점을 받았고, 이것은 통계적으로 중요한 결과입니다. 부정적인 측면을 보면, 신제품 초콜릿은 값이 5배 더 비쌉니다. 그만한 돈을 더 내고 새 초콜릿으로 바꿀 가치가 있을까요? 이 경우, 그 차이가 현실적으로 중요한지 질문을 해봐야 합니다. 그 대답은 십중팔구 아니오 입니다. 10점 중 0.1점이라는 차이는 매우 적은 것이고, 또 미각이란 주관적인 것입니다. 여기서는 결과가 현실적으로 중요한 것이 될 수 없습니다. 미각 시험에서의 주관성이란, 그 차이를 말할 수 없거나 당신이 여전히 이전에 즐기던 초콜릿을 더 좋아한다는 것을 의미합니다.

이보다는 좀 덜 주관적인 예를 생각해 보지요. 어느 특정 어플리케이션에서 솔더 보이딩이 아주 중요한 걱정거리라고 가정해 보지요. 그래서 당신은 두 가지 납땜 페이스트의 보이딩을 측정합니다. 수백개의 데이터 포인트를 수집한 후 한 페이스트는 평균 보이딩이 8%이고 다른 하나는 7%라는 것을 알아냈습니다. Mintab® 소프트웨어로 분석했더니 그 결과가 통계적으로 중요하다고 합니다. 그렇다면, 그 차이가 현실적으로 중요한 것일까요? 아마 아닐겁니다.

현실적 중요성은 어떻게 결정합니까? 일반적으로, 이는 실험이나 경험에 의해 결정됩니다. 우리가 예로 든 솔더 보이딩의 경우, 실험 결과 평균 보이딩이 30% 이하인 한 염려할 것이 없다는 결론이 나왔다고 가정합시다. 이 사실에 비추어 엔지니어링은 보이딩이 평균 25% 이하여야 한다고 사용설명서에 기술할 것입니다 (여기서는 데이터의 스프레드 또는 표준 편차가 크지 않다는 추정하에 논의하고 있는데, 이 문제는 다른 논의의 주제로 다루어져야 합니다). 그러므로, 이 경우 7%와 8%의 보이딩 차이는 통계적으로 중요하겠지만, 현실적으로는 중요하지 않습니다. 따라서 사려깊은 엔지니어는 8%의 페이스트가 일시 정지에 대한 반응성, 또는 그레이핑에 대한 저항력이 더 좋거나 head-in-pillow 불량이 개선되었다든지 하는, 다른 바람직한 특징들을 가지고 있다면 그것을 선택할 것입니다.