AI 고객 피드백 분류기(AI Customer Feedback Classifier)

2,000개의 지원 티켓이 한꺼번에 백로그로 들어온다면

Notion에서는 제품팀이 고객 피드백을 하나도 빠짐없이 읽는다고 알려져 있습니다. Head of Product인 Brian Freyburger도 이를 공개적으로 이야기했습니다. PM이 사용자 불만을 외면하지 못하도록 내부 도구까지 만들었습니다. 대부분의 팀은 그럴 여유가 없습니다. 대개는 #feedback이라는 Slack 채널이나 "시간 날 때 업데이트"하는 공유 스프레드시트가 있을 뿐이고, 그 말은 사실상 아무도 하지 않는다는 뜻입니다.

피드백을 수집하는 것과 실제로 행동에 옮기는 것 사이의 간극에서 제품 직관은 쉽게 죽습니다.

수동 분류가 무너지는 이유

문제는 단순히 양이 많다는 데만 있지 않습니다. 물론 양도 문제입니다. 사용자 5,000명의 mid-stage SaaS 제품은 지원 티켓, NPS 응답, 앱 리뷰, 소셜 멘션을 합쳐 한 달에 대략 200-400건의 피드백을 만듭니다. 사용자가 50,000명이라면 2,000건이 넘어갑니다.

더 큰 문제는 일관성 부족입니다. 같은 지원 티켓을 PM 세 명이 분류하면 서로 다른 카테고리로 넣는 경우가 많습니다. 한 명은 "UX issue"라고 하고, 다른 한 명은 "feature request", 또 다른 사람은 "onboarding"으로 분류합니다. Productboard의 2024년 설문에 따르면 제품팀의 58%가 팀원마다 피드백 분류 기준이 일관되지 않다고 인정했고, 41%는 대표성이 없는 일부 피드백에 근거해 기능을 만든 적이 있다고 답했습니다.

이것은 생각보다 심각한 제품 실패 원인입니다. 분류가 noisy하면 우선순위도 그 노이즈를 그대로 물려받습니다. 결국 가장 흔한 문제보다 가장 시끄러운 사용자를 위해 제품을 만들게 됩니다. 전 Google PM인 Ken Norton이 말했듯, anecdote가 여러 개 쌓인다고 data가 되지는 않습니다. 그런데 매일 아침 inbox에 들어오면 그렇게 느껴지기 쉽습니다.

이 프롬프트가 하는 일

이 프롬프트는 어떤 채널에서 들어온 raw feedback이든 받아 네 가지 차원으로 일관되게 분류합니다. category(버그, 기능 요청, UX 문제, 성능 문제 등), severity(비즈니스 영향 점수), user segment, frequency signal입니다. 단순히 정리만 하지 않고 각 항목의 product actionability까지 점수화해서, 다음 sprint에 반영해야 할 피드백과 다음 분기에 검토할 피드백을 빠르게 구분할 수 있게 해줍니다.

진짜 가치는 일관성입니다. 티켓 500개를 이 프롬프트에 넣으면 모두 같은 분류 논리로 처리됩니다. 기분에 따른 편향도 없고, 최근에 본 사례를 과대평가하는 recency effect도 없고, 직접 이메일 보내온 화난 enterprise 고객 한 명에게 과도한 비중을 두는 일도 줄어듭니다.

언제 꺼내 쓸까

• 여러 채널에 흩어진 미처리 피드백이 쌓여 있고 시작할 taxonomy가 필요할 때
• 분기 계획을 준비하면서 가장 흔한 사용자 pain point를 데이터로 뒷받침하고 싶을 때
• 팀이 우선순위를 두고 계속 다투고 있어서, 논쟁 전에 객관적인 분류 레이어가 필요할 때
• 막 출시한 기능의 초기 반응 신호를 빠르게 정리하고 싶을 때
• 특정 투자안을 설득하기 위해 얼마나 많은 피드백이 이를 뒷받침하는지 정량화해야 할 때

좋은 결과물의 모습

좋은 output은 분류 표와 명확한 severity score, 가장 자주 등장하는 이슈를 보여주는 frequency analysis, 그리고 raw data만 봐서는 잘 보이지 않는 패턴을 드러내는 "product signal" 섹션을 함께 제공합니다. 예를 들어 "이탈 위험이 높은 계정의 37%가 같은 onboarding step을 언급한다" 같은 패턴입니다. 가장 좋은 결과는 사람이 판단해야 할 분류 경계 사례까지 함께 표시해줍니다.

참고 자료

• The State of Product Management 2024 — Productboard
• Bringing the Voice of the Customer into Product — Brian Freyburger
• How to Listen to Customers — Ken Norton