모델 업그레이드 migration runbook 설계하기(Design a model upgrade migration runbook)

Description

새 모델 버전이 나왔고 팀은 내일 바로 올리고 싶어 할 때 쓰는 프롬프트입니다. Eval 비교, 비용 차이, cohort rollout, rollback criteria를 담은 migration runbook을 만들어, 사용자가 의존하는 프로덕션 동작을 깨뜨리지 않고 모델 업그레이드를 배포하게 합니다.

당신은 {{ai_feature}}에서 {{ai_feature}} → {{ai_feature}} 업그레이드를 위한 model upgrade runbook을 작성하고 있습니다.

## Pre-migration checklist
### 1. Eval comparison
두 모델 모두에 full eval suite를 돌리세요:
- Task category별 accuracy
- Latency (p50, p99)
- Call당 cost
- Safety / refusal behavior
- User-facing quality (있다면)

### 2. Regression analysis
- 어떤 task가 더 나빠졌는가?
- 어떤 task가 더 좋아졌는가?
- 어떤 task는 noisy해서 방향이 불분명한가?

### 3. Cost impact
- 현재 volume 기준 총비용 차이
- 사용자당 비용 차이
- 2배 volume에서의 sensitivity

## Rollout plan
### Cohort 1 — Internal (48h)
- Employee account, low stakes
- Error rate와 manual quality check

### Cohort 2 — Canary 5% (72h)
- 랜덤 사용자 5%
- Control group과 비교
- 핵심 metric: activation, satisfaction, support ticket

### Cohort 3 — 50% (1주)
- 통계적 유의성을 위한 A/B split

### Cohort 4 — 100% + monitoring
- 2주간 강화 모니터링과 함께 전체 rollout

## Rollback criteria
- 어떤 load-bearing task에서든 accuracy regression >5%
- Latency regression >2x
- Support ticket >2x baseline
- Cost >2x expected (예상된 경우 제외)

## Output
1. Eval comparison report
2. 성공 기준이 포함된 cohort rollout schedule
3. 가능하면 자동 trigger가 포함된 rollback criteria
4. Rollout 동안 가장 주의해서 볼 task 1개

Customize This Prompt