활성화(activation) 지표를 후보 리스트에서 인과 증명까지 도달시키기

활성화 지표는 온보딩에 일을 시키는 계약입니다

활성화(activation) 지표가 정의되지 않은 프로덕트는 온보딩을 추측으로 운영합니다. 잘못된 활성화 지표가 있는 프로덕트는 유지율(retention)을 움직이지 못하는 표적을 향해 온보딩을 운영합니다. 적절한 마일스톤을 잡는 일은 그로스(growth)에서 가장 레버리지가 큰 작업 중 하나이지만, 정성적 디스커버리(discovery), 정량적 상관 분석, 인과 실험에 걸쳐 있기 때문에 가장 자주 건너뛰는 작업이기도 합니다.

Amplitude의 활성화율 글은 활성화 마일스톤을 신규 사용자가 유지로 이어질 만큼의 가치를 처음으로 얻는 순간으로 정의합니다. 정의는 단순합니다. 우리 프로덕트에 맞는 구체적 모멘트를 짚는 것이 작업입니다.

상관만으로는 위험합니다

분석 데이터가 쌓이면, 팀은 모든 이벤트를 유지율 리프트로 점수 매기고 1등을 왕좌에 앉히려는 유혹을 받습니다. 리프트는 실재합니다. 그러나 인과 주장은 대개 그렇지 않습니다. 파워 유저는 파워 유저이기 때문에 일찍 많은 모멘트에 도달합니다. 유지율과 가장 강하게 상관된 모멘트는 팀이 당길 수 있는 레버가 아니라 동기의 표지일 수 있습니다.

세 가지 실패 모드가 따라옵니다:

• 표지이지 레버가 아님. "X를 도달한 사용자가 2배 유지된다"는 X 중심으로 온보딩을 만들기 전까지는 실행 가능해 보입니다. X는 동기를 추적했지 만들지 않았던 것입니다.
• 생존 편향. 코호트는 후보 모멘트 이전에 이미 자기 선택을 합니다. 상관은 실재하지만 그 모멘트는 더 이른 필터의 하류에 있습니다.
• 파워 유저 오염. 소수의 헤비 유저가 유지율 분자를 지배합니다. 헤비 유저가 모든 것에 도달하기 때문에 그 모멘트가 유지율과 상관됩니다.

해결책은 실험입니다. 그 모멘트에 도달하는 사용자 비중을 늘리는 처치가 예측한 만큼 유지율을 움직인다면 그 모멘트는 인과적입니다. 그렇지 않으면 표지를 찾은 것입니다.

Pinpoint your activation metric prompt 작동 방식

Step 1은 계정, 사용자 액션, 워크스페이스의 세 레벨에서 6-10개 후보 모멘트를 브레인스토밍합니다. 레벨을 섞는 것이 중요합니다. B2B 프로덕트는 사용자 레벨 활성화와 그 옆에서 추적하는 워크스페이스 레벨 마일스톤이 둘 다 필요한 경우가 많습니다.

Step 2는 지표를 사용 가능하게 만드는 세 가지 제약으로 후보를 필터링합니다. 관찰 가능, 영향 가능, 첫 7일 안에 대다수가 도달. 도달에 30일이 걸리는 모멘트는 활성화 지표가 아니라 유지율 지표입니다.

Step 3은 상관 패스를 실행합니다. 유지율 호라이즌은 프로덕트별입니다. 고빈도 소비자 앱은 D7, 프로슈머 SaaS는 W4, 채택 주기가 긴 B2B는 M2. Amplitude의 코호트 분석 입문은 호라이즌이 가치 전달의 자연 빈도와 일치해야 하는 이유를 설명합니다.

Step 4는 임계값 효과를 테스트합니다. 가장 강한 활성화 지표는 명확한 평탄점(2회 도달이 5회 도달과 같은 유지율)과 명확한 시간 경계(3일 이상 걸리면 리프트 붕괴)를 가집니다. 두 신호 모두 탐색 공간을 줄입니다. 평탄점이 없는 모멘트는 활성화 게이트가 아니라 사용량 프록시일 가능성이 높습니다.

Step 5는 인과 실험을 설계합니다. 가설을 명시하고, 처치를 명시하고, 엔지니어링 배포를 정당화할 가장 작은 리프트를 검출할 표본 크기를 잡고, 가드레일로 노이즈 승리를 자축하지 않도록 합니다. Reforge의 노스 스타 플레이북과 Amplitude의 노스 스타 입문은 활성화 지표가 노스 스타 아래에 살고, 그 연결을 증명하는 것이 실험이라는 점을 강조합니다.

Step 6은 대시보드를 구축합니다. 활성화율, 활성화 분할 유지율, 신뢰구간 주간 트렌드. 분석이 출시된 뒤 지표를 살아 있게 하는 것이 대시보드입니다.

B2B와 멀티플레이어 프로덕트는 사용자 지표와 워크스페이스 지표 둘 다 필요합니다

싱글플레이어 프로덕트는 활성화 모멘트 하나를 고르면 됩니다. 멀티플레이어와 B2B 프로덕트는 보통 두 개가 필요합니다. 그로스 팀이 움직일 수 있는 사용자 레벨 액션("팀원 초대", "문서 공유")과, 계정 레벨 유지율을 게이트하는 워크스페이스 레벨 마일스톤("4주차에 활성 편집자 3명", "첫 통합 설치"). 사용자 레벨 지표는 운영용이고, 워크스페이스 레벨 마일스톤은 계정이 건강한 궤적에 있는지 모니터링합니다.

워크스페이스 마일스톤만 고르는 팀은 지표가 너무 거칠어 온보딩으로 영향을 줄 수 없어 막힙니다. 사용자 액션만 고르는 팀은 강한 사용자 활성화가 워크스페이스가 정체되면 항상 계정 유지로 이어지지는 않는다는 것을 발견합니다. 둘 다 필요하고 나란히 추적되어야 합니다.

When to use it

• 온보딩을 변경했는데도 유지율 곡선이 움직이지 않고, 활성화 표적이 잘못되었다고 의심합니다.
• 신규 프로덕트가 출시되며, 첫 한 달의 데이터가 도착하기 전에 활성화 지표를 결정해야 합니다.
• 이전 활성화 지표가 유지율과 상관되었지만, 팀이 그것을 표적으로 실험했을 때 움직이지 않았습니다 (레버가 아닌 표지였습니다).
• 신규 그로스 리드가 합류하며, 실험을 설계하기 전에 방어 가능한 활성화 계약을 설치하고자 합니다.
• B2B 프로덕트에 사용자 레벨 지표 옆의 워크스페이스 레벨 활성화가 빠져 있습니다.

Common pitfalls

• 상관에서 멈춤. 2배 유지율 리프트는 증명이 아닙니다. 인과를 증명하는 것은 실험입니다.
• 잘못된 호라이즌. 채택에 30일이 걸리는 B2B 프로덕트에서 D7 유지율을 측정하는 것은 신호가 아니라 노이즈를 만듭니다.
• 멀티플레이어 프로덕트의 단일 지표. B2B와 멀티플레이어는 사용자 액션과 워크스페이스 마일스톤이 둘 다 필요합니다.

Sources

• What is a good activation rate - Amplitude
• Activation metrics primer - Amplitude
• Cohort analysis primer - Amplitude
• North-star metric playbook - Reforge
• North-star metric primer - Amplitude