제품 최적화를 위한 자율 실험 루프 설계하기(Design an autonomous experiment loop for product optimization)

Description

제품의 무언가가 더 나아질 수 있다는 것을 압니다 — 온보딩 카피, 가격 페이지 레이아웃, 알림 타이밍 — 그러나 A/B 테스트를 수동으로 운영하는 것은 느리고 충분한 변형을 결코 통과하지 못합니다. Karpathy의 오토리서치 패턴(https://github.com/karpathy/autoresearch)을 적용해 각 반복이 이전 위에 쌓이는 구조화된 실험 루프를 셋업하세요.

당신은 "Karpathy 루프(Karpathy Loop)"를 적용하는 제품 전략가입니다 — 단일 산출물을 반복적으로 수정하고, 하나의 목적 지표로 측정하며, 각 변경을 유지하거나 폐기하는 자율 실험 패턴. 목표는 직감 기반 제품 최적화를 구조화되고 반복 가능한 실험 기계로 바꾸는 것입니다.

## 컨텍스트
- 제품: {{product_name}}
- 최적화하고 싶은 것: {{optimization_target}}
  (예: 온보딩 완료율, 랜딩 페이지 전환율, 이메일 오픈율, 기능 도입)
- 현재 베이스라인 지표: {{current_metric_value}}
- 가용 측정 방법: {{measurement_method}}
  (예: 분석 대시보드, LLM-as-judge 점수, 사용자 테스트, 클릭 데이터)

## Step 1: 실험 아키텍처 정의

당신의 최적화를 오토리서치 프레임워크에 매핑:

### 산출물(당신의 "train.py")
- 에이전트가 매 반복에서 수정할 단일 산출물은?
- 예: 랜딩 페이지 카피, 온보딩 플로우 스크립트, 푸시 알림 템플릿, 가격 티어 설명
- 이 산출물의 현재 버전을 그대로 적어두세요

### 목적 지표(당신의 "val_bpb")
- 변형이 더 좋은지 나쁜지 알려주는 명확한 단일 숫자 정의
- 실험당 시간 예산 내에 측정 가능해야 함
- 실제 지표(예: 전환율)가 측정하기에 너무 느리면 프록시 정의:
  - 사용자 이해의 프록시로 LLM 명확성 점수(1-10)
  - 온보딩 품질의 프록시로 첫 행동 도달 시간
  - 리텐션의 프록시로 인게이지먼트 예측 점수
- **결정적 규칙:** 단일 지표를 정의할 수 없다면 이 패턴에 준비된 게 아닙니다. 하나를 골라 커밋하세요.

### 제약(당신의 "prepare.py")
실험 사이에 변경할 수 없는 모든 것 나열:
- 브랜드 보이스와 톤 가이드라인
- 법적/컴플라이언스 요구사항
- 기술 제약(글자수 제한, 형식 요구사항)
- 타깃 오디언스 정의

### 시간 예산
- 각 실험 사이클은 얼마나 걸리는가?(측정 + 분석)
- 하루/한 주에 몇 개 실험을 운영할 수 있는가?
- 출하해야 하기까지 총 실험 창은?

## Step 2: program.md 작성

AI 에이전트(또는 미래의 자신)를 실험 루프로 안내할 평이한 영어 지침 초안 작성:

1. **가설 형성** — 에이전트가 무엇을 바꾸도록 시도해야 하는가? 초기 실험 방향 5개 나열:
   - 톤 변형(격식 vs 대화체)
   - 구조 변경(정보 순서, 길이)
   - 강조 이동(다른 가치 제안, 다른 페인 포인트)
   - 형식 변경(불릿 vs 단락, 사회적 증거 유무)
   - 급진적 이탈(완전히 다른 접근)

2. **유지/폐기 규칙** — "새 변형이 {{metric_name}}에서 현재 최고보다 더 높은 점수를 받으면 유지. 그렇지 않으면 되돌림."

3. **단순성 기준** — "다른 모든 것이 같다면 단순한 것이 더 좋다. 복잡성을 더하는 작은 개선은 가치가 없다."

4. **지속성 규칙** — "명백한 아이디어가 떨어지면 이전 상위 3개 변형의 요소를 결합하거나, 작동해온 것의 반대를 시도하라."

## Step 3: 첫 5개 실험 실행

각 실험에 대해:
| # | 가설 | 변경 사항 | 이전 지표 | 이후 지표 | 유지/폐기 |
|---|-----------|-------------|---------------|--------------|--------------|
| 1 | | | | | |
| 2 | | | | | |
| 3 | | | | | |
| 4 | | | | | |
| 5 | | | | | |

## Step 4: 패턴 분석

5+ 실험 후:
1. 어떤 실험 방향이 가장 큰 개선을 만들었는가?
2. "유지된" 변형들의 공통점은?
3. 어떤 가정이 틀렸음이 입증됐는가?
4. 어디서 수확 체감이 시작되는가?
5. 프록시 지표가 여전히 실제 결과와 상관관계를 보이는가?

## 출력
1. **최적화된 산출물** — 모든 실험 후 현재 최고 버전
2. **실험 로그** — 시도한 것과 작동한 것의 전체 표
3. **핵심 인사이트** — 실험 루프에서 가장 놀라운 단일 발견
4. **다음 실험 배치** — 다음 반복 라운드를 위한 가설 3개
5. **패턴 적용 가능성** — 제품의 어디에서 같은 루프를 적용할 수 있는가?

Customize This Prompt