90일 런치 지표 리뷰 설계하기(Design a 90-day launch metric review)

90일 리뷰: 런치에 대한 가장 정직한 사후평가

대부분의 런치는 activation metric만 보고 성공 판정을 받습니다. 그리고 activation은 거의 항상 장기 가치 신호로는 가장 약합니다. Amplitude의 North Star framework 글은 90일 시점의 sustained engagement가 기능 가치의 최소한의 신뢰 가능한 신호라고 말합니다. 초기 activation이 좋더라도 retention이 따라오지 않으면, 오히려 기능 실패를 가리고 있을 수 있다는 뜻입니다. Reforge의 retention 연구도 같은 점을 지적합니다. 90일 리뷰를 돌려보면 week-1 축하 분위기와 정반대의 결론이 나오는 경우가 많고, 그 리뷰를 돌리는 팀만이 패배한 기능에 엔지니어링을 더 태우는 실수를 줄일 수 있습니다.

이 Design a 90-day launch metric review 프롬프트의 작동 방식

이 프롬프트는 사전에 약속한 success bar에 대해 7개의 metric을 정량 비교하고, "계속 가자" 같은 모호한 결론 대신 double down / sustain / reduce / sunset 중 하나를 반드시 고르게 만듭니다. 그리고 결론을 leadership memo로 정리하게 합니다. 특히 마지막의 flip condition, 즉 어떤 단 하나의 input이 달랐다면 결론이 바뀌었을지를 적게 하는 부분이 중요합니다. 그래야 결정이 방어 가능하고, 나중에 업데이트 가능한 형태가 됩니다.

언제 사용할까

• 기능이 3개월 전에 출시됐는데 sustained impact를 아무도 검토하지 않았을 때
• 리더십이 "그 런치 잘 됐어?"라고 묻는데 누구도 답하지 못할 때
• ROI가 불명확한 기능을 엔지니어링 팀이 계속 유지보수하고 있을 때
• 포트폴리오 정리를 앞두고 기능별 데이터를 확보해야 할 때
• 새 PM이 출시 이후 기능 포트폴리오를 인수받게 되었을 때

흔한 함정

activation만 보는 것. Week-1 activation은 거의 항상 긍정적 신호가 나옵니다. 장기 가치와는 별 상관이 없을 수 있습니다.

사전 합의된 success bar가 없는 것. 바가 없으면 어떤 리뷰도 결국 "조금 더 해보자" 쪽으로 합리화되기 쉽습니다.

sunset 옵션을 피하는 것. 기준을 넘기지 못한 기능은 시간이 지나도 갑자기 좋아지지 않는 경우가 많습니다. 계속 유지하는 것은 maintenance debt를 쌓는 일입니다.

참고 자료

• The North Star Framework — Amplitude
• Retention, Engagement & Growth: The Silent Killer — Reforge
• Amplitude Blog — Amplitude
• Google re:Work — Google