제품 분석 구현 계획(Product Analytics Implementation Plan)

당신은 아마 잘못된 이벤트를 추적하고 있다

한 Series B 핀테크 회사의 PM이 Mixpanel 대시보드를 보여준 적이 있습니다. 추적 중인 이벤트가 847개였습니다. "Button Clicked." "Page Viewed." "Modal Opened." 847개의 이벤트를 쌓아두고도 그들은 "왜 사용자가 첫 입금 이후 이탈하는가?"라는 질문 하나에 답하지 못했습니다.

문제는 analytics tool이 아니었습니다. Tracking plan이 없었다는 점이 문제였습니다.

어떤 데이터를 모으느냐가 어떤 결정을 내리게 되는지를 바꾼다

대부분의 팀은 분석 계측을 반응적으로 합니다. 누군가 질문을 하면, 아무도 답을 못 하고, 그래서 새 tracking event를 추가합니다. 몇 달이 지나면 이렇게 생긴 것은 왜 그런지는 설명하지 못한 채 무슨 일이 일어났는지만 말해주는, 연결되지 않은 데이터 묘비군입니다.

Amplitude의 2024 Product Analytics Benchmark에 따르면 일반적인 B2B SaaS 회사는 500개가 넘는 이벤트를 추적하지만, 그중 실제로 한 분기 안에 어떤 dashboard나 analysis에서 참조되는 이벤트는 12%뿐이었습니다. 나머지는 노이즈입니다. 이벤트당 비용을 내고 있다면 비싼 노이즈이기도 합니다.

Tracking plan은 이 접근을 뒤집습니다. "무엇을 추적할 수 있을까?"에서 시작하는 대신, "우리가 어떤 결정을 내려야 하는가?"에서 시작합니다. 그다음 필요한 데이터로 역산합니다. 가장 큰 질문이 "왜 trial 사용자가 전환하지 않는가?"라면, instrumentation plan은 trial-to-paid 여정의 각 단계를 plan type, feature usage depth, trial 내 시간, interaction pattern 같은 context property와 함께 설계해야 합니다.

Netflix 전 VP of Product인 Gibson Biddle은 "proxy metric" 개념을 자주 이야기합니다. 실제로 신경 쓰는 것과 상관관계를 갖는 측정 가능한 숫자 말입니다. 좋은 analytics implementation plan은 이런 proxy metric을 식별하고 정밀하게 계측합니다. 제품 전체를 generic click tracker로 카펫 폭격하지 않습니다.

이 프롬프트가 돕는 방식

이 프롬프트는 당신의 제품과 analytics tool에 맞는 구조화된 analytics implementation plan을 만듭니다. 제품 컨텍스트, 핵심 user flow, 답하고 싶은 주요 질문을 입력하면, event taxonomy, property definition, user attribute, funnel structure를 포함한 완전한 추적 설계를 생성합니다.

결과물에는 naming convention, property schema, 권장 dashboard layout까지 포함됩니다. 즉 event 이름이나 property 형식을 두고 추가 질의 없이도 엔지니어링 팀이 바로 구현할 수 있는 수준의 문서가 됩니다.

언제 꺼내 쓸까

• 분석을 처음 심는 단계라 ad hoc으로 이벤트를 붙이기보다 처음부터 제대로 하고 싶을 때
• 현재 analytics가 엉망이라 수백 개 이벤트와 naming chaos 속에서도 기본 제품 질문 하나 답하기 어려울 때
• GA4에서 Amplitude로 가는 식의 analytics 플랫폼 마이그레이션을 하면서 깨끗하게 다시 시작하고 싶을 때
• 큰 신규 기능을 launch하는데, 엔지니어링이 instrumentation을 시작하기 전에 tracking plan이 필요할 때
• 데이터팀이 product에게 필요한 event와 property를 먼저 정의해달라고 요청할 때

좋은 결과물의 모습

강한 analytics plan은 명확한 naming convention(예: Object Action 형식인 Article Viewed, Subscription Started), 의미 있는 context를 담는 property, business question에서 specific event와 funnel로 이어지는 매핑, 그리고 데이터 validation 계획을 포함해야 합니다. 엔지니어에게 문서를 건네면 추가 질문 없이 계측할 수 있어야 합니다.

참고 자료

• Product Analytics Benchmark Report 2024 — Amplitude
• The Art of Product Strategy: Proxy Metrics — Gibson Biddle