고객 피드백 설문(Customer Feedback Survey)

설문은 사람들이 무엇을 생각하는지 물을 때 실패하고, 무엇을 했는지 물을 때 살아난다

고객 피드백 설문은 프로덕트 매니지먼트에서 가장 많이 쓰이면서도 가장 성과가 낮은 도구 중 하나입니다. 설문 자체가 망가져서가 아니라, 대부분의 설문이 잘못된 사람에게 잘못된 질문을 잘못된 타이밍에 던지기 때문입니다.

문제

기본 본능은 고객에게 무엇을 원하는지, 무엇을 좋아하는지, 어떻게 느끼는지 묻는 것입니다. 이런 의견 기반 질문은 실행 가능해 보이는 데이터를 만들지만, 실제로는 그렇지 않습니다. 고객은 자기 행동을 예측하는 데 놀랄 만큼 서툽니다. 실제로 쓰지 않을 기능을 원한다고 말하고, 곧 churn할 제품에 만족한다고 답하기도 합니다.

Qualtrics의 2023 연구에 따르면 churn한 고객의 80%는 직전 설문에서 자신을 "만족" 또는 "매우 만족"이라고 평가했습니다. 만족도 점수는 선행 지표처럼 보이지만, 사실은 후행 지표에 가깝습니다.

더 근본적인 문제도 있습니다. 대부분의 설문은 고객을 포커스 그룹 참가자로 대하지만, 사실 고객은 자기 행동의 목격자로 다뤄져야 합니다. 핵심 질문은 "우리 제품에 대해 어떻게 생각하세요?"가 아니라 "마지막으로 이 문제를 겪었을 때 실제로 무엇을 했나요?"여야 합니다.

이 프롬프트의 작동 방식

이 프롬프트는 고객이 선호한다고 주장하는 것이 아니라, 실제로 무엇을 하는지를 드러내는 행동 중심 설문 질문을 생성합니다. Rob Fitzpatrick의 방법론에서 나온 "Mom Test" 원칙을 따릅니다. 즉, 심지어 당신의 엄마도 쉽게 거짓말할 수 없도록 질문을 구성해야 한다는 뜻입니다.

이 프롬프트는 세 가지 질문 범주를 만듭니다.

• 행동 질문(Behavioral questions) — 과거의 구체적 행동과 결정에 대해 묻기
• 컨텍스트 질문(Context questions) — 제품 사용을 둘러싼 상황을 드러내기
• 결과 질문(Outcome questions) — 제품이 고객이 원했던 결과를 실제로 만들어냈는지 측정하기

각 질문에는 어떤 시그널을 포착하는지, 그리고 응답을 대규모로 어떻게 해석해야 하는지에 대한 rationale도 함께 붙습니다.

SurveyMonkey의 2023 benchmark에 따르면 행동 질문을 포함한 설문은 completion rate가 34% 더 높고, analytics 데이터에서 관찰되는 실제 사용자 행동과의 상관도도 2.7배 더 높습니다.

언제 사용할까

• 중요한 제품 결정을 내리기 전 정성 가설을 정량으로 검증해야 할 때
• 기능 출시 후 사용자가 그 기능을 알아차렸는지가 아니라 행동이 바뀌었는지를 측정하고 싶을 때
• churn 분석 중 떠난 이유의 표면적 진술이 아니라, 실제로 이탈에 이르게 된 사건의 흐름을 이해하고 싶을 때

흔한 함정

• 설문 피로(Survey fatigue). 한 번 설문을 보낼 때마다 다음 설문의 응답률은 떨어집니다. 한 번 보낼 때마다 가치가 있어야 합니다. Medallia의 2022 보고서에 따르면 평균 설문 응답률은 2016년 33%에서 2022년 18%로 하락했습니다.
• 유도 질문(Leading questions). "우리의 새 기능이 얼마나 마음에 드시나요?"는 리서치가 아닙니다. 방법론으로 위장한 자기 축하입니다.
• 비응답자를 무시하기. 설문에 답하지 않는 사람이 오히려 더 중요한 피드백을 갖고 있는 경우가 많습니다. 너무 바쁘거나, 너무 disengaged 상태이거나, 너무 답답해서 참여하지 않는 것이죠.
• 평균값으로 인사이트를 지워버리기. Net Promoter Score가 7이라는 건 모두가 조금씩 만족한다는 뜻일 수도 있고, 열정적인 지지자와 강한 비판자가 반반이라는 뜻일 수도 있습니다. 평균보다 분포(distribution)가 더 중요합니다.

참고 자료

• Fitzpatrick, R. (2013). *The Mom Test*. https://www.momtestbook.com/
• Qualtrics. (2023). Global Consumer Trends Report. https://www.qualtrics.com/ebooks-guides/global-consumer-trends/
• SurveyMonkey. (2023). Survey Benchmarks Report. https://www.surveymonkey.com/curiosity/survey-benchmarks/