prompt regression testing suite 실행하기(Run a prompt regression testing suite)

Description

프롬프트를 조금 손봐서 버그 하나는 고쳤는데, 다른 세 가지 동작이 조용히 회귀했을 때 쓰는 프롬프트입니다. Gold test set, 자동 diff, pass/fail threshold를 포함한 regression testing suite를 설계해, 모든 prompt 변경을 ship 전에 검증하게 합니다.

당신은 {{ai_feature}}를 위한 prompt regression test를 만들고 있습니다. 지금 검증할 prompt 변경은 {{change}}입니다.

## Gold test set
다음을 만족하는 30-50개의 frozen test set을 만드세요:
- Production distribution을 반영함 (happy path만 아님)
- 과거에 실제로 있었던 regression을 포함함
- 특별히 방어해 온 adversarial input을 포함함

## Diff harness
각 테스트 입력마다:
- Prompt A (old) 실행
- Prompt B (new) 실행
- 다음 기준으로 output 비교
  - Exact match
  - Semantic match (LLM judge 또는 embedding similarity)
  - Structural match (형식, field 존재 여부)
  - Safety match (거절해야 할 때 거절하는가)

## Scoring
- Improved: B가 A보다 낫다
- Same: B가 A와 동등하다
- Regressed: B가 A보다 나쁘다

## Pass/fail
- Load-bearing task에서 regression이 하나라도 있으면 hard fail
- 전체 regression이 5% 미만이어야 함 (soft fail, justification 필요)
- 타깃 task에서는 net improvement가 있어야 함

## Output
1. Gold test set spec
2. Diff harness architecture
3. Pass/fail rule
4. 이번 변경에서 가장 회귀하기 쉬운 테스트 케이스 1개
5. 이번 변경을 ship한 뒤 추가해야 할 첫 3개 테스트 케이스

Customize This Prompt