AI 기능을 위한 human-in-the-loop 안전망 설계하기(Design a human-in-the-loop safety net for an AI feature)

Description

AI 기능이 꽤 잘 작동하지만 고위험 작업을 완전히 맡길 만큼은 아닐 때 쓰는 프롬프트입니다. Review gate, confidence threshold, escalation trigger를 포함한 human-in-the-loop 안전망을 설계해, AI가 대부분의 작업을 처리하되 중요한 지점에서는 사람이 개입하게 만듭니다.

당신은 {{ai_feature}}를 위한 HITL safety net을 설계하고 있습니다. 틀렸을 때의 stakes는 {{stakes}}입니다.

## Step 1 — Task taxonomy
작업을 다음 tier로 분류하세요:
- **Tier A (Auto)**: stakes는 낮고 model confidence는 높음 → AI가 독립적으로 실행
- **Tier B (Review)**: stakes가 중간이거나 confidence가 중간 → AI가 제안하고 사람이 승인
- **Tier C (Hybrid)**: stakes가 높고 인간의 judgment가 필요함 → AI가 초안을 만들고 사람이 다시 씀
- **Tier D (Human-only)**: AI가 하기엔 너무 위험하거나 judgment 비중이 큼

## Step 2 — Confidence thresholds
각 tier별 숫자 threshold를 정의하세요:
- Model confidence score
- Output 길이 / 복잡도 heuristic
- User-signal check (첫 사용자, 민감한 계정 등)

## Step 3 — Review UI design
Tier B 작업에 대해:
- AI 제안을 명확히 표시해 보여주기
- One-click accept / edit / reject
- 학습 데이터로 쓸 feedback signal 수집

## Step 4 — Escalation triggers
- 모델이 uncertain하다고 표시함
- 사용자가 "not confident"를 표시함
- 패턴 감지(연속 3회 reject) → AI 자동 일시정지
- Adversarial input 감지

## Step 5 — Feedback loop
- Reject 데이터 → eval set 확장
- Edit 데이터 → prompt/model fine-tune 후보
- Accept 데이터 → confidence threshold calibration

## Output
1. Task tier 표
2. Confidence threshold 규칙
3. Review UI spec
4. B에서 A로 가장 먼저 확장할 tier 1개(그리고 그 이유)
5. 장기적으로 계속 C에 둘 tier 1개

Customize This Prompt