제품 최적화를 위한 자율 실험 루프 설계하기(Design an autonomous experiment loop for product optimization)

실험 루프는 PM의 과학적 방법이다

제품 관리는 인정하지 않으면서도 과학에서 많이 빌려옵니다. 우리는 고객 행동에 대한 가설을 세우고, 그것을 검증할 개입을 설계하고, 데이터를 사용해 신념을 업데이트합니다. 그러나 과학자와 달리 대부분의 제품 팀은 실험 운영을 위한 엄밀하고 반복 가능한 프로세스가 부족합니다.

문제

전형적인 제품 실험은 이렇게 진행됩니다: 누군가가 아이디어를 갖고, 팀이 토론하고, 그것을 만들고, 일주일 뒤 지표를 확인하고, 축하하거나 넘어갑니다. 공식 가설이 없습니다. 사전 등록된 성공 기준이 없습니다. 미래 실험을 위해 포착되는 체계적 학습이 없습니다.

이 임시방편 접근은 두 가지 실패 모드를 만듭니다. 첫째, 팀이 가설을 실제로 반증할 수 없는 실험을 운영합니다. "실패"가 어떤 모습인지 명시하지 않았기 때문입니다. 둘째, 팀이 학습을 복리화하지 못합니다. 이전 실험이 드러낸 것을 토대로 쌓는 대신 각 실험을 고립된 상태로 운영합니다.

10,000개 제품 실험에 대한 2023년 Eppo 분석은 문서화된 가설과 사전 등록된 성공 기준을 가진 팀이 사후에 결과를 평가하는 팀 대비 올바른 출하/비출하 결정을 내릴 가능성이 3.2배 높다는 것을 발견했습니다. 데이터를 보기 전에 무슨 일이 일어날 것이라 예상하는지 적어두는 규율은 실험에서 가장 임팩트 있는 단일 실천법입니다.

이 프롬프트의 작동 방식

이 프롬프트는 과학적 방법을 반영하는 자기 강화 실험 루프를 만듭니다. 각 실험에 대해 다음을 생성합니다:

• 가설: 무엇이 일어날지에 대한 구체적이고 반증 가능한 예측
• 방법: 실험 설계 — 통제 조건, 오디언스 세분화, 기간 포함
• 성공 기준: 가설이 지지되는지 반박되는지 정의하는 사전 등록된 임계값
• 학습 포착: 결과와 무관하게 학습된 것을 문서화하는 구조화된 템플릿
• 다음 실험: 결과를 토대로 다음 논리적 실험이 검증해야 하는 것

"자율" 측면은 루프가 자기 영속적이라는 의미입니다. 각 실험의 결과가 다음 실험의 가설에 정보를 줘서, 흩어진 일회성 검증 모음이 아니라 복리화되는 지식 베이스를 만듭니다.

연간 20,000개 이상 통제 실험을 운영하는 Microsoft의 ExP Platform 팀에 따르면, 실험의 가장 가치 있는 출력은 어떤 개별 결과가 아니라 빠르게 학습할 조직 역량입니다. 단위 시간당 더 많은 실험을 운영하는 팀은 개별 실험 대부분이 실패해도 더 나은 제품 결정을 내립니다.

언제 사용할까

• 새 기능 출시 시 — 일회성 측정이 아닌 학습 시스템 셋업
• 그로스 최적화 동안 — 작은 개선이 시간에 걸쳐 복리화될 때
• 새 시장 진입 시 — 낯선 고객 행동에 대한 가정을 빠르게 검증
• 팀 관행으로 — 조직 전반에 실험 근육 만들기

흔한 함정

• 실험을 충분히 길게 운영하지 않기. 2023년 Statsig 보고서에 따르면 제품 실험의 44%가 통계적 유의성에 도달하기 전에 종료되어 거짓 양성률이 30%까지 올라갑니다. 인내는 방법론이지 성격 특성이 아닙니다.
• 가드레일 지표 무시. 전환율을 5% 개선하지만 지원 티켓을 50% 늘리는 실험은 승리가 아닙니다. 출시 전에 악화돼서는 안 되는 가드레일 지표를 정의하세요.
• 국지 최대값(local maxima) 최적화. 작은 반복적 실험은 국지 정점에 가둘 수 있습니다. 가끔 근본적으로 다른 접근을 탐색하는 크고 대담한 실험을 운영하세요.
• 실험 연극. 놀라운 결과에 따라 행동할 의지 없이 실험을 운영하는 것은 운영하지 않는 것보다 나쁩니다. 결과와 무관하게 팀이 기능을 출하할 거라면, 실험 흉내에 시간을 낭비하지 마세요.

참고 자료

• Kohavi, R., Tang, D., & Xu, Y. (2020). *Trustworthy Online Controlled Experiments*. Cambridge University Press. https://www.cambridge.org/highereducation/books/trustworthy-online-controlled-experiments/D97B26382EB0EB2DC2019A7A7B6B0B43
• Eppo. (2023). State of Experimentation Report. https://www.geteppo.com/blog
• Statsig. (2023). Experimentation Best Practices. https://statsig.com/blog