행동 기반 코호트 진단 설계하기(Design a behavioral cohort diagnosis)

전체 리텐션은 모든 것을 가린다

Aggregate retention curve는 서로 전혀 다른 특성을 가진 코호트를 한데 묶어 의미 없는 평균을 만듭니다. Amplitude의 cohort analysis 글과 Mixpanel의 retention 가이드는 모두 코호트 분할이 선택이 아니라 필수라고 말합니다. 상위 20% 코호트와 하위 20% 코호트는 대개 행동이 너무 달라서, aggregate metric만 보면 성공 스토리와 누수 지점을 모두 놓치게 됩니다.

이 프롬프트의 작동 방식

이 프롬프트는 코호트를 네 가지 차원(acquisition channel, first-week behavior, segment, signup month)으로 자르고, 코호트별 retention curve를 만든 뒤, aggregate 수치를 실제로 움직이는 코호트를 찾아냅니다. 특히 "상위 3개 코호트만 남긴다면 aggregate가 어떻게 보일까"라는 질문은 실제로 어떤 코호트를 획득할 가치가 있는지 선명하게 보여 줍니다.

언제 사용할까

• 전체 retention이 정체되거나 하락하는데 원인이 불분명할 때
• paid acquisition은 늘어나는데 retention은 따라오지 않을 때
• 어떤 기능 출시가 일부 사용자에게는 도움이 되고 다른 사용자에게는 해가 되는 것처럼 보일 때
• 새 PM이 activation과 retention 개입을 위한 baseline이 필요할 때
• 리더십이 "성장의 누수 지점이 어디냐"고 물을 때

흔한 함정

• Aggregate retention만 보는 것. Aggregate는 winner와 leak를 모두 숨깁니다. 항상 segment를 나눠 보세요.
• 코호트 수가 5개를 넘는 것. 너무 많은 코호트를 만들면 모든 slice가 noise처럼 보입니다. 3-4개의 고신호 차원에서 시작하세요.
• 계절성을 무시하는 것. Signup month는 중요합니다. 시간 통제가 없는 코호트 비교는 신뢰하기 어렵습니다.

참고 자료

• Amplitude Blog — Amplitude
• Mixpanel Blog — Mixpanel
• Retention, Engagement & Growth: The Silent Killer — Reforge
• The Activation Metric — Reforge