제품 최적화를 위한 자율 실험 루프 설계하기(Design an autonomous experiment loop for product optimization)

실험 루프는 제품 매니저의 과학적 방법이다

제품 관리는 과학에서 많은 것을 빌려오지만, 그 사실을 늘 인정하지는 않습니다. 우리는 고객 행동에 대한 가설을 세우고, 이를 검증하는 개입을 설계하고, 데이터를 통해 믿음을 업데이트합니다. 하지만 과학자와 달리 대부분의 제품팀은 실험을 돌리는 엄밀하고 반복 가능한 프로세스를 갖고 있지 않습니다.

문제

일반적인 제품 실험은 이렇게 흘러갑니다. 누군가 아이디어를 내고, 팀이 토론하고, 만든 뒤, 일주일 후 지표를 보고, 축하하거나 그냥 넘어갑니다. 형식적인 가설은 없습니다. 사전에 정의한 성공 기준도 없습니다. 다음 실험에 이어질 구조화된 학습도 남지 않습니다.

이런 ad hoc 접근은 두 가지 실패를 만듭니다. 첫째, 팀은 "실패"가 무엇인지 애초에 정의하지 않았기 때문에, 가설을 실제로 반증할 수 없는 실험을 돌립니다. 둘째, 학습이 누적되지 않습니다. 각 실험이 이전 실험에서 배운 것을 바탕으로 진화하지 않고, 고립된 일회성 테스트로 끝납니다.

Eppo가 2023년에 10,000개의 제품 실험을 분석한 결과, 가설과 사전 등록된 성공 기준이 문서화된 팀은 결과를 사후 해석하는 팀보다 올바른 ship/no-ship 결정을 내릴 가능성이 3.2배 높았습니다. 데이터를 보기 전에 무엇이 일어날지 적어두는 규율이 실험에서 가장 큰 임팩트를 만드는 습관입니다.

이 프롬프트의 작동 방식

이 프롬프트는 과학적 방법을 닮은 self-reinforcing experiment loop를 만듭니다. 각 실험마다 다음을 생성합니다.

• Hypothesis: 무엇이 일어날지에 대한 구체적이고 반증 가능한 예측
• Method: control condition, audience segmentation, duration을 포함한 실험 설계
• Success criteria: 가설이 지지되었는지 반박되었는지를 정의하는 사전 등록 threshold
• Learning capture: 결과와 무관하게 무엇을 배웠는지 남기는 구조화된 템플릿
• Next experiment: 이번 결과를 바탕으로 다음에 무엇을 테스트해야 하는지

"Autonomous"라는 점은 루프가 스스로 이어진다는 뜻입니다. 각 실험 결과가 다음 실험 가설을 만들며, 흩어진 일회성 테스트 대신 지식이 축적되는 기반을 만듭니다.

Microsoft의 ExP Platform 팀은 연간 20,000개가 넘는 controlled experiment를 돌리는데, 그들이 말하는 가장 큰 가치는 개별 실험 결과가 아니라 빠르게 학습하는 조직 능력입니다. 같은 시간 안에 더 많은 실험을 돌리는 팀이, 대부분의 개별 실험이 실패하더라도 더 좋은 제품 결정을 내립니다.

언제 사용할까

• 새 기능 출시 시, 일회성 측정이 아니라 학습 시스템을 세우고 싶을 때
• 성장 최적화 구간에서, 작은 개선이 누적될 때
• 새 시장 진입 시, 익숙하지 않은 고객 행동에 대한 가정을 빠르게 검증해야 할 때
• 팀 습관으로서, 조직 전체에 실험 근육을 만들고 싶을 때

흔한 함정

• 실험을 충분히 오래 돌리지 않는 것. Statsig의 2023 보고서에 따르면 제품 실험의 44%가 통계적 유의성에 도달하기 전에 종료되어, false positive 비율이 최대 30%까지 올라갑니다. 인내는 성격이 아니라 방법론입니다.
• Guardrail metric을 무시하는 것. conversion을 5% 올리지만 support ticket을 50% 늘리는 실험은 승리가 아닙니다. 반드시 launch 전에 guardrail metric을 정의하세요.
• 지역 최적해만 파는 것. 작은 반복 실험만 하면 local peak에 갇힐 수 있습니다. 가끔은 근본적으로 다른 접근을 탐색하는 큰 실험도 돌려야 합니다.
• Experimentation theater. 놀라운 결과가 나와도 행동할 의지가 없다면 실험을 돌리는 편이 차라리 더 나쁩니다. 결과와 상관없이 기능을 ship할 팀이라면, 실험하는 척하는 데 시간을 쓰지 마세요.

참고 자료

• Kohavi, R., Tang, D., & Xu, Y. (2020). *Trustworthy Online Controlled Experiments*. Cambridge University Press. https://www.cambridge.org/highereducation/books/trustworthy-online-controlled-experiments/D97B26382EB0EB2DC2019A7A7B6B0B43
• Eppo. (2023). State of Experimentation Report. https://www.geteppo.com/blog
• Statsig. (2023). Experimentation Best Practices. https://statsig.com/blog