P-값 의 개념 및 오해와 진실 정리

통계에 빠질 수 없는 P-값을 뽑아버리겠다는 생각으로 막판 정리를 해보려합니다 ㅎㅎ P-value 한번 가봅시다!

 

1. P-값이란? 

P-값이 어떤 역할을 하는지 큰 갈래부터 보겠습니다. 우선, P-값은 '통계적 유의성'을 판단하기 위한 하나의 지표입니다.

통계적 유의성(statistical significance)는 모집단에 대한 가설이 '우연'이라고 판단되지 않을 정도로 의미가 있는지를 의미합니다. 풀어서 해석하자면, 가설검정에서 우리가 귀무가설과 대립가설처럼 하나의 가설을 만드는데, 이 가설이 정말 의미가 있는걸까? 라는 걸 해석하는게 통계적 유의성입니다.

 

귀무가설 하에서 관찰된 통계량보다 더 극단적 값이 관찰될  확률
The p-value is defined as the probabilty, under the assumption of null hypothesis, of obtaining a result equal to or more extreme than what was actually observed

 

 

좀 더 명료하게 P-값의 의미를 해석하자면 아래와 같이 이해할 수 있습니다.

• 결과가 우연에서 비롯될 확률
• 랜덤한 모델이 주어졌을때, 그 값이 관찰값보다 더 극단적일 확률

하지만, 이런 통계적 의미 때문에 P값을 잘못 사용하는 오류가 빈번히 발생하는데요, 권재명 박사님께서 정리하신 P-값에 대한 오류를 간략히 정리해보겠습니다.

 

---

2. P-값의 활용 오류

1) P-값의 의미를 해석하지 않고 유의성 여부만 보고하는 오류 : P-값/신뢰구간 함께 보고 필요

정해둔 유의수준보다 작으면 통계적으로 유의하다 , 유의하지 않다고 단정적인 결과를 제시하는 오류. 반두시 P-값 자체와 신뢰구간도 함께 보고 되어야 함

2) P-값을 모수에 대한 확률로 이해하는 오류 : 모수에 대한 확률 X

모수는 랜덤변수가 아닌 '상수'이기 때문에 P-값은 모수에 대한 확률로 규정지을 수 없음

3) P-값이 높으면 귀무가설이 옳은 증거로 이해하는 오류 : P-값이 높다 -> 증거/데이터 부족

일반적으로 P-값이 낮다 => 귀무가설을 기각한다. P-값이 높다 => 귀무가설을 기각하기 어렵다 => 대립가설이 옳음을 증명하는 근거가 부족하다는 식으로 이해를 함. 하지만, 데이터 양이 적으면 P-값이 높을 수 있으므로 높은 P-값 ==> 증거/데이터 부족으로 이해해야 함

4) P-값이 낮으면 항상 의미있다고 생각하는 오류: P-값이 낮다 -> 데이터크기/신뢰구간 보기

표본의 크기가 충분히 크면 낮은 P값이 나올 수 있음. 이 때문에 데이터의 크기와 신뢰구간을 살펴봐야 함.

5) 신뢰구간을 사용하지 않는 오류: 신뢰구간을 보자

P값은 통계적 유의성이라는 측면에서 활용가능하지만, 반복적으로 추출된 표본의 신뢰구간에 실제 모수가 얼마나 포함될 것인지에 대한 힌트는 주지 못함.

 

 

신뢰구간에 대한 개념은 아래 게시물을 참고바랍니다

2023.01.03 - [Data Science/Statistics] - 신뢰수준과 신뢰구간이란?

 

 

 

참고자료:

데이터과학을 위한 통계

https://ko.wikipedia.org/wiki/%ED%86%B5%EA%B3%84%EC%A0%81_%EC%9C%A0%EC%9D%98%EC%84%B1

실리콘밸리 데이터과학자가 알려주는 따라하며 배우는 데이터 과학