https://yozm.wishket.com/magazine/detail/1644/
A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT
앞선 글에서 A/B 테스트를 설계하거나 수행할 때 ‘목표를 달성하기 위한 방안으로 A와 B 중 어느 게 더 나은가?’ 뒤에 숨은 진짜 질문에 관해 살펴보았다. 이번 글에서는 이러한 우리의 진짜 질
yozm.wishket.com
요약 : 진짜 질문에 대한 답을 얻기 위한 A/B 테스트 설계와 결과 해석하는 방법 (기초 통계)
1. 모집단과 표본
우리는 결코 '전체'(모집단) 를 알 순 없으며, 실험의 대상은 어디까지나 '일부'(표본)이다
2. '일부'를 통해서 '전체'에 대해 추론할 수 있다
우리의 실험 대상인 '일부'를 통해 전체에 대해 추론,추정할 수 있다
> '통계적 추측' 뒤에 숨은 대전제와 가깝기 때문에 A/B 테스트를 설계하거나 해석할 때의 고려요소가 아니라 이러한 개념과 원리를 전제로 삼고 A/B 테스트를 진행하면 된다
3.귀무가설과 대립가설, 양측검정과 단측검정
- 차이가 없다 : 귀무가설
- 차이가 있다 : 대립가설
이때, 차이가 있다면 한쪽이 무조건 더 나은건지 아니면 어떤 쪽이 나을지는 해봐야 아는 건지 확인 ! >> 단측검정/ 양측검정
-단측검정 : A/B 테스트를 하면 두 그룹에 차이가 있어서 더 나은 결과가 있을 것이라고 가정하는데 이때 '정말 더 나은 결과인지' 확인하는 실험. 즉 특정방안의 승리 또는 패배를 가정함
- 양측검정 : 단순히 차이가 있을 것이라고만 가정함 즉, 두 그룹 간의 차이가 있긴 있되 어느 쪽이 더 나을지는 미리 가정할 수 없는 경우
4. 실험 결과도 결국 '추측'이다
그렇다면 A/B 테스트의 결과는 모두 옳은걸까..? > NO!
: 우리가 진행하는 테스트는 언제까지나 우리가 관심있는 특정 유형의 고객 중 실험에 노출된 일부를 바탕으로 해당 유형 고객의 전체를 '추측' 한 것 뿐이다
다만, 우리는 이 추측이 제법 유효한지 알아가려는 과정이고 최대한 유효한 테스트를 만들기 위해 노력하는 것이다
>> 우리의 추측을 신뢰할 수 있는 신뢰수준 95%를 기준으로 확인
- 점추정 : 정확한 한 점을 짚어 특정 값이 나오는 것을 추축
- 구간 추정: 특정 범위/구간 내에서 일어날 것이라는 것을 추측
- 표준오차 : 동일한 실험과 기준으로 선발한 표본일지라도 서로 다른 표본이므로 결괏값의 차이가 발생
- 신뢰구간 : 실험결과가 실제로 포함될 것으로 예측하는 범위 (유의미함을 판단하는 기준)
5. 그래서 정말 우연이 아닌가?
만약 실험 결과가 차이가 있는데, 만약 이게 한 번만의 우연한 결과 또는 극단적인 결과라면? 결과가 우연인지 알수 있는 방법 >>> P-value 확인 !
- 신뢰수준 95% 라는 것은 100번 중 95번은 실험의 결과가 내가 생각한 범위 내 결과를 도출하지만 나머지 5번은 아닐수도 있다는 뜻으로, 5번까지는 틀려도 봐준다라는 의미
- 신뢰수준 95%의 실험에서 나온 p-value가 4%로면 5% 안에 안착했으므로 A와 B는 정말로 차이가 있다고 판단하게 됨
- 반면 6%라면 신뢰수준 95%의 기준인 5%를 넘겼으므로 실험을 타당하지 않은 것, 즉 우리가 실험을 통해 얻은 결과는 우연일 가능성이 크다
▷ 실험을 N번 하면 N번마다 결과는 다를 수 있으며 그 이유는 아무리 실험 기준이 동일해도 결국에는 모두 다른 표본이기 때문이다.
▷ 이렇게 매번 결과가 다르면 A/B 테스트를 하는 우리의 입장에서 어느 쪽이 확실하게 이겼다고 말하기가 어렵다.
그래서, 우리는 결과가 이 실험 덕분에 생긴 결과인지 아니면 우연인지를 확인하는 P-vlaue와 유의수준을 통해 비교하는 것이 매우 중요하다
▷ 즉 A/B 테스트를 할때 가설을 통한 실험은 우연이 발생할 수 밖에 없기 때문에 적절한 기초 통계를 활용해 원하는 답을 찾기 위해 노력해야 함 !