엄밀한 A/B 테스트 프로그램 처음부터 설계하기(Design a rigorous A/B testing program from scratch)

Description

팀이 가끔 실험은 하지만 체계가 없어서 테스트가 겹치고, 샘플 수는 감으로 잡고, 결과는 보고 싶은 것만 선택할 때 쓰는 프롬프트입니다. 가설 템플릿, 통계적 엄밀성, 의사결정 프레임워크를 갖춘 구조화된 실험 프로그램을 세팅합니다.

통계적으로 엄밀하고 실행 가능한 결과를 보장하는 구조화된 A/B 테스트 프로그램을 {{product_name}}에 맞게 설계해주세요.

## 컨텍스트(Context)
- Product: {{product_name}}
- 월간 활성 사용자 수: {{mau}}
- 현재 실험 성숙도: {{maturity_level}} (none / ad hoc / structured)
- 최적화하려는 주요 metric: {{primary_metric}}
- 테스트할 핵심 제품 영역: {{product_areas}}

## Step 1: 가설 프레임워크(Hypothesis Framework)
모든 실험에 사용할 가설 템플릿을 만드세요.
1. "우리는 [user segment]에게 [user segment]를 적용하면 [expected impact]가 일어날 것이라 믿는다. 그 이유는 [rationale] 때문이다."
2. Primary metric: 가설이 맞다면 무엇이 움직여야 하나요?
3. Guardrail metrics: 무엇은 절대 나빠지면 안 되나요? (예: revenue, load time, support ticket)
4. Expected effect size: 실제 액션할 가치가 있는 최소 감지 차이는 얼마인가요?

## Step 2: 통계적 기반(Statistical Foundation)
1. 각 variation별 최소 sample size를 계산하세요.
   - 80% statistical power
   - 95% confidence level
   - Step 1에서 정한 expected effect size
2. {{product_areas}}의 현재 트래픽을 기준으로 테스트 기간을 추정하세요.
3. Stopping rule을 정의하세요. 언제 테스트를 조기 종료할지, 혹은 종료하지 말아야 할지.
4. 적절한 테스트 유형을 고르세요. simple A/B, multivariate, sequential testing 중 무엇이 맞나요?

## Step 3: 실험 로드맵(Experimentation Roadmap)
1. {{product_areas}} 전반에서 실험 아이디어 10개를 나열하세요.
2. 각 아이디어를 potential impact(1-5), effort(1-5), learning value(1-5)로 점수화하세요.
3. ICE score 기준으로 순위를 매기고 이번 분기의 상위 5개를 선택하세요.
4. 실험끼리 충돌하지 않도록 testing calendar를 만드세요.

## Step 4: 결과 프레임워크(Results Framework)
완료된 각 실험마다:
1. 결과를 명시하세요. statistically significant한가요, 아닌가요?
2. Practical significance: effect size가 실제로 출시할 가치가 있나요?
3. Segment analysis: 사용자 그룹마다 영향이 달랐나요?
4. 결과가 어떻든 learning을 문서화하세요.
5. Decision: 100% 출시, iterate, 또는 kill

## Step 5: 문화와 프로세스(Culture & Process)
- 누가 실험을 launch할 수 있는지, 누가 review하는지 정의하세요.
- 표준 필드를 갖춘 shared experiment log를 만드세요.
- 월간 experiment review cadence를 설정하세요.
- "no HiPPO" 원칙을 세우세요. 증거가 명확할 때는 의견보다 데이터가 우선합니다.

Customize This Prompt