golden dataset으로 AI 기능 eval 실행하기(Run an AI feature eval with golden dataset)

AI eval: 데모에서 방어 가능한 숫자로

"보기엔 괜찮아 보여요"는 eval이 아닙니다. 이해관계자가 숫자를 요구하는 순간 바로 무너집니다. Anthropic의 eval 연구와 GitHub의 developer productivity 글는 공통적으로 필요한 엄격함을 보여 줍니다. 실제 production input, 전문가가 만든 ground truth, blind scoring, 통계적 유의성입니다. LLM-as-judge는 평가를 확장할 수 있지만, 반드시 먼저 human label에 맞춰 calibration해야 합니다.

이 프롬프트의 작동 방식

이 프롬프트는 held-out split이 포함된 균형 잡힌 dataset을 만들고, 세 가지 scoring 메커니즘(automatic metric, LLM-judge, human scoring)을 돌린 뒤, confidence interval, sample size, multiple-comparison correction 같은 통계적 엄격함을 적용합니다. 결과 보고 템플릿은 회의적인 이해관계자 앞에서도 방어 가능한 숫자를 만들 수 있게 해 줍니다.

언제 사용할까

• 리더십이 AI 품질 숫자를 요구할 때
• 모델 마이그레이션을 객관적으로 비교해야 할 때
• 규제 산업에서 문서화된 eval 절차가 필요할 때
• Compliance나 procurement 리뷰를 위해 방어 가능한 지표가 필요할 때
• 새 AI PM이 eval discipline을 세우고 있을 때

흔한 함정

• PM이 dataset을 큐레이션하는 것. PM이 만든 dataset은 PM이 중요하다고 생각하는 사례에 편향되기 쉽고, 실제 사용자가 마주치는 사례를 반영하지 못합니다.
• 비-blind scoring. 어떤 모델이 새 모델인지 아는 평가자는 그 모델을 더 높게 평가하는 경향이 있습니다. 항상 blind로 가야 합니다.
• 단일 숫자만 보고하는 것. 카테고리별 breakdown이 없는 overall score는 신뢰할 수 없는 카테고리를 숨깁니다.

참고 자료

• Anthropic Research — Anthropic
• GitHub Developer Research — GitHub
• AI Adoption in Product Orgs — Reforge
• Stack Overflow Blog — Stack Overflow