AI 기능 신뢰 보정 audit 진행하기(Conduct an AI feature trust calibration audit)

Description

사용자가 당신의 AI를 과신해선 안 되는 출력에 그대로 행동하거나, 반대로 충분히 맞는 출력도 무시해 버릴 때 쓰는 프롬프트입니다. 사용자 테스트, 시나리오 프로브, 행동 데이터를 통해 신뢰 보정이 어긋난 지점을 드러내고, 이를 바로잡을 개입 방안을 설계합니다.

당신은 {{ai_feature}}의 사용자 trust calibration을 감사하고 있습니다.

## Step 1 — Behavior signal
- 사용자가 출력을 accept vs. edit vs. reject 하는 비율
- AI 출력 후 action까지 걸리는 시간 (빠른 accept = over-trust, 긴 망설임 = under-trust)
- Complaint pattern (틀린 출력에 행동함, 맞는 출력을 무시함)

## Step 2 — User testing (8-10명)
### Scenario 1: High-confidence correct output
사용자는 이를 accept했나요?
### Scenario 2: Low-confidence correct output
사용자는 accept 전에 검증했나요?
### Scenario 3: High-confidence wrong output
사용자는 실수를 잡아냈나요?
### Scenario 4: Low-confidence wrong output
사용자는 적절히 reject했나요?

## Step 3 — Calibration patterns
- Over-trust: 사용자가 scenario 3에서 검증 없이 AI에 그대로 행동함
- Under-trust: 사용자가 scenario 1에서 맞는 출력임에도 AI를 reject함
- Well-calibrated: 사용자의 acceptance rate이 AI의 실제 정확도와 맞아떨어짐

## Step 4 — Interventions per pattern
- Over-trust: 더 나은 confidence indicator, high-stakes 작업에는 mandatory verification
- Under-trust: 근거 노출, source citation, track record 표시
- Well-calibrated: 유지하고 drift를 모니터링

## Output
1. Behavior signal 요약
2. 네 가지 시나리오에 대한 user testing 결과
3. Calibration pattern 진단
4. Miscalibration을 바로잡기 위한 상위 2개 개입안
5. 신뢰 보정이 가장 어긋나 있을 가능성이 높은 사용자 세그먼트 1개

Customize This Prompt