유지율 곡선이 평탄해지는 지점(retention smile) 찾기

유지율 스마일은 수학이 비관적이기를 멈추는 지점입니다

0으로 향하는 유지율 곡선은 새는 양동이입니다. 팀은 획득 지출로만 그것을 따라잡을 수 있습니다. 의미 있는 레벨에서 평탄해지는 유지율 곡선은 비즈니스입니다. 모든 코호트가 지속 가치를 추가합니다. 대부분의 팀은 온보딩을 개선하고 D7을 올리고 알림을 조정하면서 누수를 쫓는데, 더 레버리지가 큰 움직임은 곡선이 평탄해지는 날을 식별하고 그것을 만들어내는 행동을 찾는 것입니다.

Amplitude의 유지율 글은 곡선을 프로덕트 분석에서 가장 진단적인 차트로 정의합니다. 모양이 프로덕트가 습관 적합, 니치 적합, 아니면 적합 없음인지를 알려줍니다. Amplitude의 코호트 분석 입문은 신호와 노이즈를 분리하기 위해 주간 코호트에 걸쳐 모양을 읽는 방법을 보여줍니다.

세 가지 곡선 모양과 의미

• 스마일. 곡선이 첫 며칠에 떨어진 뒤 의미 있는 레벨에서 평탄해집니다. 평탄 지점이 스마일입니다. 그곳에 도달한 사용자는 머무는 경향이 있습니다. 그 코호트에 대해 프로덕트가 습관 적합을 가집니다.
• 0으로의 경사. 곡선이 모든 기간에 걸쳐 내려갑니다. 프로덕트가 습관을 얻지 못했습니다. 성장은 지속적 획득에 의존합니다.
• 울퉁불퉁. 곡선이 계절성, 에피소드 콘텐츠, 측정 노이즈로 진동합니다. 결론을 내리기 전에 평활화하세요.

팀의 일은 첫 주에 smile users를 leak users와 구분하는 행동을 식별하여 더 많은 사용자를 스마일로 밀어 넣는 것입니다.

Find the retention smile prompt 작동 방식

Step 1은 지난 8주 주간 코호트의 곡선을 플롯합니다. 동일한 y축, 동일한 시간 간격, 나란히 두어 모양을 비교할 수 있게 합니다. 8개 코호트는 팀을 데이터에 묻지 않으면서 트렌드를 감지할 수 있는 양입니다.

Step 2는 코호트별 평탄 지점을 검출합니다. 경험칙: 기간당 1퍼센트포인트 미만으로 유지가 손실되는 곳. 일부 코호트는 평탄해지지 않습니다 (획득 채널 믹스가 잘못되었거나 코호트가 leak users만). 대부분의 건강한 프로덕트는 적어도 일부 코호트가 높은 위치에서 평탄해집니다.

Step 3은 smile vs leak를 정의합니다. 규율은 단일 이벤트가 아니라 곡선 모양에서 정의하는 것입니다. "Feature X를 사용한 사용자"를 미리 고르는 팀은 분석을 Feature X에 편향시킵니다. 곡선이 코호트를 정의하게 두면 어떤 행동이 실제로 생존을 예측하는지 드러납니다.

Step 4는 행동 예측자를 찾습니다. 첫 7일이 적절한 윈도우입니다. 거기서의 행동이 4주차 유지의 인과적 상류에 있기 때문입니다. 산출은 3-5개 과대 표현 이벤트, 1-2개 leak에 없는 이벤트, 두 그룹의 time-to-first-X입니다. Reforge의 유지 글은 예측자가 보통 단일 행동이 아니라 소수의 행동이라는 점, 그리고 시간 경계가 이벤트만큼 중요하다는 점을 강조합니다.

Step 5는 홀드아웃 코호트로 검증합니다. 가장 강한 예측자가 가장 최근 2개 코호트에 대해 확인됩니다. 여전히 smile과 leak를 분리하면 실재합니다. 그러지 않으면 예측자는 특정 코호트의 표지였지 지속 레버가 아니었습니다.

Step 6은 실험을 설계합니다. 가설이 예측자를 명시하고, 처치가 구체적 온보딩 변경 또는 인앱 너지이고, 표본 크기가 가장 작은 의미 있는 리프트를 검출하고, 사전 등록 가드레일이 노이즈 승리 자축을 막습니다. Amplitude의 프로덕트 온보딩 글은 실제 프로덕트에서 스마일을 움직인 처치 예시를 모아둡니다.

스마일 없이 "온보딩 개선"이 거의 작동하지 않는 이유

스마일 예측자를 표적으로 하지 않는 온보딩 변경은 평탄 레벨을 올리지 않으면서 D1 또는 D3를 올리는 경향이 있습니다. 누수는 느려지고 스마일은 오르지 않습니다. 몇 사이클 뒤 팀은 유지가 "그저 어려운 문제"라고 결론짓고 획득으로 전환합니다. 감사가 그 결론을 막습니다.

SVPG의 가장 중요한 것 글은 더 넓은 요점을 만듭니다. 결과(유지 상승)가 진보의 유일한 지속적 척도이고, 팀은 결과를 움직이지 못하는 산출(온보딩 플로우 버전)을 버릴 의지가 있어야 합니다.

When to use it

• 온보딩 투자에도 유지율 곡선이 움직이지 않고 팀이 인내심을 잃고 있습니다.
• 새 페르소나나 새 시장이 추가되고 있고, 획득 지출을 약속하기 전에 스마일 모양이 필요합니다.
• 리더십 리뷰가 프로덕트가 새는지 단순히 미공급인지 묻고 있고, 어느 쪽이든 증거가 필요합니다.
• 이전 "활성화 개선" 프로젝트가 D1을 올렸지만 평탄 레벨은 올리지 못했고, 팀에 더 나은 표적이 필요합니다.
• 신규 그로스 리드가 합류하며, 실험을 설치하기 전에 방어 가능한 유지 진단을 원합니다.

Common pitfalls

• 단일 이벤트로 스마일 정의. 곡선 모양이 코호트를 정의하게 둔 다음, 어떤 행동이 구분하는지 묻으세요.
• 시간 경계 무시. 시간 경계(day N까지 발생해야 함)가 없는 예측자는 활성화 레버가 아니라 사용량 프록시입니다.
• 상관에서 멈춤. 예측자가 인과적임을 증명하는 것은 검증 코호트와 실험입니다.

Sources

• Retention rate - Amplitude
• Cohort analysis primer - Amplitude
• Retention engagement growth: the silent killer - Reforge
• Product onboarding - Amplitude
• The most important thing - Silicon Valley Product Group