AI 액션당 비용 모니터링 대시보드 만들기(Build an AI cost-per-action monitoring dashboard)

Description

AI 기능은 잘 동작하지만 비용이 사용자 수보다 더 빠르게 커지고 있을 때 쓰는 프롬프트입니다. 사용자당 비용, 성공 결과당 비용, 시간에 따른 비용 드리프트를 추적하는 대시보드를 설계해, 재무팀이 먼저 문제를 지적하기 전에 runaway cost를 포착할 수 있게 합니다.

당신은 {{ai_feature}}를 위한 비용 모니터링 대시보드를 설계하고 있습니다. 현재 월간 비용은 {{current_cost}}입니다.

## Metrics to track
### 1. Direct cost
- 일별 총 API 호출 수
- 총 토큰 수 (input + output)
- 호출당 비용 (model-weighted)
- 사용자당 비용 (월간)

### 2. Cost per outcome
- 성공적인 outcome 비율
- 성공 outcome당 비용 = direct cost ÷ successful outcomes
- 시도했지만 실패한 outcome당 비용

### 3. Cost drift
- 전주 대비 변화
- 사용자당 비용 추세 (상승 중인가?)
- 분포 분석: 상위 10% 사용자가 전체 비용의 몇 %를 소비하는가

### 4. Efficiency metrics
- Cache hit rate (캐시를 쓰는 경우)
- Prompt size 추세 (시간이 갈수록 프롬프트가 길어지는가)
- Model mix (여러 모델을 쓰는 경우)

## Alerts
- 일일 비용 > X → 리뷰
- 사용자당 비용 > Y → 사용 패턴 조사
- 성공 outcome당 비용 > Z → 품질 대비 비용 tradeoff 평가
- 7일 이동평균이 전주 대비 20% 이상 상승 → 원인 설명 또는 최적화

## Output
1. 대시보드 명세
2. 우리 규모에 맞는 alert threshold
3. 가장 지배적일 것으로 예상되는 비용 driver 1개
4. 기대 절감 효과가 가장 큰 최적화 1개

Customize This Prompt