제품 산출물을 최적화하는 오토리서치 루프 실행하기(Run an autoresearch loop to optimize any product artifact)

문제

제품 팀은 인정하는 것보다 더 많이 추측합니다. PM이 PRD를 쓰고, 한 번 검토하고, 엔지니어링에 출하하고 넘어갑니다. 디자이너가 사용자 플로우를 만들고, 한 라운드 피드백을 받고, 최종이라고 부릅니다. 산출물은 한 번, 어쩌면 두 번 개선되고 그다음 얼어붙습니다. 그러나 어떤 제품 산출물의 최고 버전도 두 번째 초안이 아닙니다. 여섯 번째입니다.

문제는 팀에 기준이 부족하다는 게 아닙니다. 반복(iteration)이 비싸다는 것입니다. 각 검토 사이클은 미팅 일정 잡기, 피드백 기다리기, 충돌하는 의견 해결하기, 변경사항을 수동으로 적용하기를 요구합니다. Atlassian에 따르면 지식 노동자는 비생산적 미팅에 월 평균 31시간을 쓰며, 그중 다수가 비동기 자동 피드백 루프로 대체될 수 있는 검토 세션입니다.

한편 제품 결정을 견인하는 산출물 — PRD, 디자인 브리프, 경쟁 분석, 출시 계획 — 은 그것이 정보를 주는 코드보다 더 적은 반복을 받습니다. GitClear 분석은 평균 풀 리퀘스트가 머지 전에 2.4 라운드 검토를 받지만, 무엇을 만들지 정의하는 제품 문서는 평균 1.1 라운드를 받는다는 것을 발견했습니다. 가장 중요한 문서가 가장 적게 검토받습니다.

루프의 근거

AI는 반복의 경제학을 바꿉니다. 검토 사이클이 5일 대신 5분이 걸릴 때, 점심 전에 6번 반복할 수 있습니다. 제약이 "검토를 몇 번이나 감당할 수 있을까?"에서 "이걸 얼마나 좋게 만들고 싶은가?"로 옮겨갑니다.

이 프롬프트의 작동 방식

이 프롬프트는 어떤 제품 산출물이든 가져와 정의된 품질 기준에 비추어 검토하고, 구체적 개선 권고를 생성하고, 적용하고, 산출물이 품질 임계값으로 수렴할 때까지 반복하는 자율 최적화 루프(autonomous optimization loop)를 셋업합니다.

루프는 4단계 사이클을 따릅니다:

• 평가(Evaluate): AI가 당신이 정의한 루브릭(rubric)에 비추어 현재 산출물을 검토(명확성, 완결성, 구체성, 실행 가능성, 또는 커스텀 기준)
• 진단(Diagnose): 가장 약한 차원을 식별하고 텍스트의 구체적 증거와 함께 왜 약한지 설명
• 개선(Improve): 강점을 보존하면서 진단된 약점을 다루는 수정 버전 생성
• 비교(Compare): 수정 버전을 원본과 점수 비교하고 다시 루프할지 멈출지 결정

루프는 개선 델타가 당신이 설정한 임계값 아래로 떨어지거나 최대 반복 횟수 후에 종료됩니다. 출력은 최종 산출물과 각 라운드에서 무엇이 개선됐는지 보여주는 변경 로그(changelog)를 포함합니다.

언제 사용할까

• 어떤 제품 문서든 첫 초안이 있고 이해관계자를 부르기 전에 "검토 준비됨" 품질에 도달하고 싶을 때
• PRD, 전략 메모, 출시 계획을 구체적 품질 기준에 압력 검증하고 싶을 때
• 팀이 산출물을 너무 빨리 출하하며 미팅 없이 품질 게이트가 필요할 때
• 글이 체계적 압력 아래에서 어떻게 개선되는지 보고 싶을 때

흔한 함정

• 사람 체크포인트 없이 너무 많은 루프 실행: 3~4회 반복 후 AI 최적화는 과적합(overfit)을 시작할 수 있습니다. 보이스를 희생해 언어를 다듬거나, 가독성을 희생해 정밀성을 더합니다. 3 루프마다 출력을 검토하세요.
• 모호한 평가 기준 사용: "더 좋게 만들어"는 루브릭이 아닙니다. 구체적 차원 정의: 모든 사용자 스토리가 검증 가능한가? 모든 요구사항에 수락 기준이 있는가? 모든 가정이 명시적으로 진술됐는가?
• 잘못된 산출물 최적화: 루프 적용은 레버리지가 높은 문서(PRD, 전략 메모, 출시 계획)에 가장 가치 있습니다. 미팅 어젠다 최적화에 6회 반복을 쓰지 마세요.

더 읽을거리

• You Waste a Lot of Time at Work - Atlassian
• Software Development Velocity Trends - GitClear
• The Art of Iteration in Product Development - Silicon Valley Product Group