43/ 50
＋ 변수별 가설과 측정 지표, 표본 근거가 가장 탄탄하다.
－ 일부 카피 쌍은 강조점 외 표현도 바뀌며 전체가 다소 길다.
A/B 테스트용 카피 짝 만드는 프롬프트
테스트할 카피 두 벌을 만듭니다. 한 번에 하나의 변수만 바꿔, 결과가 나왔을 때 무엇 때문인지 알 수 있게 설계합니다.
| 분류 | 마케팅·커머스 › 광고 카피 |
|---|---|
| 태그 | 초안작성분석마케터 |
Build A/B test pairs. 1. **First propose the variables worth testing** — emphasis, tone, length, presence of a number, the call to action. 2. Per variable, write A and B. ***Hold everything else identical.*** **Changing more than one variable at a time makes the result uninterpretable.** 3. Per pair: - The one variable changed - **What this test would tell you** - Which you expect to win and why — **marked clearly as a prediction** 4. Recommend the test order — the variable with the largest expected effect first. 5. **Say what sample size would be needed before the result means anything.** *Calling a winner on a small sample is how teams learn the wrong lesson.*
붙여 넣으면 맨 아래에 채울 칸(제품 · 현재카피 · 매체)이 나옵니다
어떤 프롬프트인가
세 가지를 한꺼번에 바꾸면 이겨도 왜 이겼는지 모른다. 이 프롬프트는 짝마다 변수를 하나만 다르게 두고, 표본 수가 모자랄 위험을 같이 경고한다.
모델 비교
Claude가 통제·측정·표본 계산에서 가장 완성도가 높다. Gemini는 구체적이나 근거 없는 내용을 추가했고, ChatGPT는 CTA 설계와 표본 크기가 특히 부정확하다.
38/ 50
＋ 각 실험의 의도와 예상 반응을 구체적으로 설명했다.
－ 입력에 없는 ‘하루 15분’과 70% 주장을 만들어 정확성을 해친다.
36/ 50
＋ 간결한 구성으로 다섯 변수와 실행 순서를 쉽게 파악시킨다.
－ CTA 비교가 실제 CTA를 분리하지 못하고 표본 기준도 지나치게 작다.
| 기준 | ChatGPT | Claude | Gemini | 앞선 모델 |
|---|---|---|---|---|
| 지시 준수 | 7 | 9 | 8 | Claude +13% |
| 정확성 | 5 | 9 | 6 | Claude +50% |
| 구체성 | 8 | 9 | 9 | 동점 |
| 구성·가독성 | 8 | 9 | 9 | 동점 |
| 분량 적정성 | 8 | 7 | 6 | ChatGPT +14% |
gpt-5.6-sol가 모델 이름을 가린 채 1~10점으로 채점했습니다 (2026-09-24). 측정값이 아니라 AI 심사 결과입니다.
답 전문 보기
같은 입력을 세 모델에 넣어 받은 답을 그대로 옮겼습니다. 각 CLI(에이전트 하네스)에서 실행했습니다. ChatGPT·Claude 앱이나 웹에서는 답이 다를 수 있습니다.
제품: 홈트레이닝 앱 '핏레이' 1개월 무료체험 구독 현재카피: 지금 시작하면 한 달 무료! 핏레이와 함께 집에서 운동하세요. 매체: 인스타그램 피드 광고
먼저 테스트할 변수
예상 효과가 큰 순서대로 다음 순서를 권합니다.
- 혜택의 강조점
- CTA
- 톤
- 길이
- 숫자 표기 방식/숫자 유무
모든 광고는 동일한 타깃, 예산, 게재 위치, 이미지·영상, 노출 기간으로 운영해야 합니다. 측정 기준은 클릭률보다 최종적으로 무료체험 시작률 또는 구독 전환율을 우선하세요.
1. 강조점 테스트
A
지금 시작하면 한 달 무료! 핏레이와 함께 집에서 운동하세요.
B
집에서 편하게 운동하세요! 핏레이를 지금 시작하면 한 달 무료입니다.
- 변경 변수: 무료 혜택 강조 → 집에서 운동하는 편의성 강조
- 이 테스트가 알려주는 것: 사용자가 더 강하게 반응하는 메시지가
경제적 혜택인지홈트레이닝의 편리함인지 알 수 있습니다. - 예측: A 승리
- 이유: 인스타그램 피드에서 “한 달 무료”는 즉시 이해되는 구체적 혜택이며, 가입 동기를 직접적으로 자극할 가능성이 높습니다.
2. CTA 테스트
A
지금 시작하면 한 달 무료! 핏레이와 함께 집에서 운동하세요.
B
지금 시작하면 한 달 무료! 핏레이와 함께 집에서 운동해보세요.
- 변경 변수: CTA의 직접성
- 이 테스트가 알려주는 것: 강한 행동 촉구가 가입을 유도하는지, 부담이 낮은 표현이 더 많은 반응을 얻는지 알 수 있습니다.
- 예측: A 승리
- 이유: 무료체험 상품은 즉시 행동을 유도하는 표현이 잘 맞고, “지금 시작”은 긴급성과 명확성이 있습니다.
3. 톤 테스트
A
지금 시작하면 한 달 무료! 핏레이와 함께 집에서 운동하세요.
B
지금 시작하면 한 달 무료! 핏레이와 함께 집에서 운동해요.
- 변경 변수: 격식 있고 지시적인 톤 → 친근하고 대화적인 톤
- 이 테스트가 알려주는 것: 핏레이 이용자에게 전문적이고 명확한 말투와 친근한 말투 중 어느 쪽이 더 신뢰와 행동을 이끄는지 알 수 있습니다.
- 예측: B 승리
- 이유: 인스타그램은 개인적이고 대화적인 매체이므로 “운동해요”가 심리적 거리를 줄일 가능성이 있습니다.
4. 길이 테스트
A — 짧은 버전
지금 시작하면 한 달 무료! 핏레이와 함께 집에서 운동하세요.
B — 긴 버전
지금 시작하면 한 달 무료! 별도 이동 없이 원하는 시간에 핏레이와 함께 집에서 운동하세요.
- 변경 변수: 메시지 길이
- 이 테스트가 알려주는 것: 사용자가 짧고 빠르게 이해되는 광고를 선호하는지, 추가적인 사용 편의성 설명이 설득력을 높이는지 알 수 있습니다.
- 예측: A 승리
- 이유: 피드 광고에서는 긴 문구가 핵심 혜택의 즉시성을 떨어뜨릴 수 있습니다.
5. 숫자 표기 테스트
숫자 유무를 엄밀히 비교하려면 다른 표현을 최대한 동일하게 유지해야 합니다.
A
지금 시작하면 1개월 무료! 핏레이와 함께 집에서 운동하세요.
B
지금 시작하면 무료 체험! 핏레이와 함께 집에서 운동하세요.
- 변경 변수: 구체적인 기간 숫자 표시 여부
- 이 테스트가 알려주는 것: “1개월”이라는 구체성이 가입 판단을 돕는지, 기간을 생략한 “무료 체험”이 더 자연스럽고 부담 없이 느껴지는지 알 수 있습니다.
- 예측: A 승리
- 이유: “1개월”은 혜택의 가치를 구체적으로 보여주므로 사용자가 제안을 더 쉽게 비교하고 이해할 수 있습니다.
단, 이 쌍은 숫자뿐 아니라 “무료”와 “무료 체험”의 표현도 약간 달라집니다. 숫자 유무를 더 엄밀하게 검증하려면 실제 광고 플랫폼에서 문구 길이와 표현을 추가로 맞춘 별도 실험을 설계해야 합니다.
권장 테스트 순서
- 강조점
- CTA
- 톤
- 길이
- 숫자 표기
각 테스트에서 승자를 정한 뒤 다음 테스트로 넘어가야 합니다. 여러 변수를 동시에 바꾸거나, A/B 결과가 나오기 전에 다음 실험을 시작하면 어떤 변화가 성과를 만들었는지 해석하기 어렵습니다.
필요한 표본 크기
작은 표본에서 승자를 선언하지 마세요. 최소 기준으로는 각 버전에 다음 정도가 필요합니다.
- 클릭률만 비교: 버전당 최소 1,000~2,000회 노출
- 무료체험 시작률 비교: 버전당 최소 3,000~5,000회 노출
- 무료체험 전환율이 약 3%이고, 약 20
25%의 상대적 개선을 발견하려는 경우: 버전당 대략 4,0006,000명 이상의 유효 방문자
가능하면 각 버전에 최소 100건 이상의 전환이 쌓일 때까지 기다리세요. 또한 통계적으로 유의한 차이와 함께 95% 신뢰수준을 확인하고, 하루나 이틀의 일시적 성과만으로 승자를 결정하지 않는 것이 좋습니다.
같은 분류의 프롬프트
| 타깃별로 카피 다시 쓰는 프롬프트 | |
| 기능을 혜택으로 바꾸는 프롬프트 | |
| 브랜드 톤에 맞춰 카피 통일하는 프롬프트 | |
| 카피 점검하고 과장 표현 거르는 프롬프트 | |
| 경쟁사와 차이를 드러내는 카피 쓰는 프롬프트 |