모델 업그레이드 migration runbook 설계하기(Design a model upgrade migration runbook)

모델 업그레이드는 설정 변경이 아니라 배포다

구조화된 rollout 없이 모델 버전을 업그레이드하는 것은, 테스트하지 않은 코드를 프로덕션 100%에 배포하는 것과 같습니다. Anthropic의 model migration 가이드와 Stack Overflow의 AI tooling 글은 모두 같은 패턴을 권합니다. Full eval comparison, internal에서 100%까지 가는 cohort rollout, 자동 trigger가 포함된 rollback criteria입니다. 모델 버전이 바뀌면 사용자 눈에 보이는 동작이 비직관적으로 회귀할 수 있습니다. 항상 regression을 기본 가정으로 두고, rollback 준비를 해야 합니다.

이 프롬프트의 작동 방식

이 프롬프트는 internal → 5% → 50% → 100%의 네 단계 rollout을 설계하고, 각 단계마다 eval comparison, cost impact, rollback criteria를 붙입니다. 특히 "가장 주의해서 볼 task"는 aggregate metric에 바로 드러나지 않는 고위험 동작 하나를 명시하게 해 줍니다.

언제 사용할까

• 새 모델 버전이 나왔고 팀이 업그레이드하려 할 때
• 더 저렴한 모델로 옮겨 비용을 줄일 기회가 생겼을 때
• 이전 migration이 프로덕션 이슈를 일으킨 적이 있을 때
• 새 AI PM이 업그레이드 discipline을 세우고 있을 때
• Compliance review가 문서화된 migration 절차를 요구할 때

흔한 함정

• Eval comparison 없이 전체 rollout하는 것. 새 모델은 예상 밖의 방식으로 회귀합니다. 먼저 비교해야 합니다.
• Rollback criteria가 없는 것. 기준이 없으면 회귀가 합리화됩니다.
• 평균적으로 더 좋으면 다 좋은 줄 아는 것. 전체 평균이 좋아도, 제품의 load-bearing task에서는 더 나빠질 수 있습니다.

참고 자료

• Anthropic Research — Anthropic
• Stack Overflow Blog — Stack Overflow
• GitHub Developer Research — GitHub
• AI Adoption in Product Orgs — Reforge