실험: SEO 변경이 트래픽을 움직였는지 검증하기

실험 기능은 모든 SEO 변경 작업에서 나오는 질문, 즉 "효과가 있었나, 아니면 사이트 전체가 움직인 건가?"에 답해 줍니다. 처리군(변경한 페이지), 대조군(변경하지 않은 비슷한 페이지), 출시일을 정의하면 AutoPSEO가 출시 후의 각 그룹을 출시 전 28일과 비교하고, 두 그룹 사이의 차이가 일상적인 변동폭보다 큰지 검정합니다. 대조군은 계절성, Google 업데이트, 수요 변동을 처리군과 함께 겪기 때문에, 단순한 전후 비교보다 변경의 효과만 훨씬 잘 분리해 낼 수 있습니다.

실험 만들기

New를 누르고 다음 항목을 입력하세요.

• 이름과 가설: 무엇을 변경했고 어떤 결과를 기대하는지 적습니다. 예: "제품 가이드에 FAQ 스키마를 적용하면 CTR이 10% 상승한다".
• 시작일: 변경 사항이 실제로 적용된 날입니다. 종료일은 선택 사항이며, 지정하지 않으면 데이터가 있는 가장 최근 날짜까지 실험이 진행됩니다.
• 지표: 클릭수, 노출수, CTR, 게재순위 중에서 선택합니다. 네 가지 모두 보고되며, 여기서 선택한 지표가 승자를 결정합니다.
• 처리군과 대조군: 각각 URL 목록(절대 URL 최대 500개) 또는 ^https://www.example.com/guides/ 같은 URL 패턴(정규식)으로 지정합니다.

그룹을 만들 때 쓸 수 있는 단축 기능이 두 가지 있습니다. URL 그룹이 담긴 CSV 업로드는 url과 group 열이 있는 파일을 읽으며, 파일에서 첫 번째 그룹은 대조군, 두 번째 그룹은 처리군이 됩니다. 그룹 자동 제안은 최근 28일간의 상위 페이지를 불러와 첫 번째 폴더 기준으로 그룹을 제안하며(페이지가 3개 이상인 폴더만 해당), 제안된 그룹은 패턴으로 바로 사용할 수 있습니다.

대조군은 처리군과 비슷하게 구성하세요. 같은 템플릿, 비슷한 트래픽, 같은 종류의 검색 의도를 가진 페이지가 좋습니다. 페이지를 그룹에 배정하는 일은 결과를 확인한 뒤가 아니라 확인하기 전에 마쳐야 합니다.

결과 계산 방식

1. 기간. 사전 기간은 시작일 이전 28일이고, 사후 기간은 시작일부터 종료일(또는 사용 가능한 가장 최근 날짜)까지입니다.
2. 지수화. 출시 후 각 그룹의 일별 값을 해당 그룹의 출시 전 하루 평균으로 나눕니다. 따라서 1.0은 "이전과 같음"을 뜻합니다. 이렇게 하면 규모가 작은 처리군과 규모가 큰 대조군을 같은 척도에서 비교할 수 있습니다.
3. 상승률. 상대 상승률은 처리군의 평균 지수에서 대조군의 평균 지수를 뺀 값입니다. +0.12는 처리군이 자신의 기준선 대비 12퍼센트포인트 더 좋은 성과를 냈다는 뜻입니다.
4. 검정. Welch t-검정은 등분산을 가정하지 않고 두 그룹의 일별 지수화 값을 비교하여 p-값, 95% 신뢰구간, 효과 크기인 Cohen's d를 산출합니다(0.2 미만은 무시할 수준, 0.5 미만은 작음, 0.8 미만은 중간, 0.8 이상은 큼).
5. 승자. p가 0.05 미만이면 결과가 유의하다고 보고, 이때 승자는 처리군 또는 대조군이 됩니다(게재순위는 낮을수록 좋습니다). 그렇지 않으면 결론 불가로 표시됩니다.
6. 누적 차이. 출시 이후 날짜별로, 처리군의 실제 값에서 처리군이 대조군을 그대로 따랐을 경우의 값(출시 전 평균 × 대조군의 지수)을 뺀 값을 합산합니다. 즉 이 변경이 만들어 낸 추가 클릭수(또는 선택한 지표의 추가분)입니다.

통계 검정 결과에는 최소 검출 효과도 함께 표시됩니다. 이는 차이의 표준오차의 약 2.8배에 해당하며, 이 실험이 검정력 80%로 안정적으로 검출할 수 있는 가장 작은 상승폭입니다. 결과가 유의하지 않을 때는 변경이 아무 효과도 없었다고 결론 내리기 전에 기대했던 효과 크기를 이 값과 비교해 보세요.

결과 읽기

목록에서 실험을 열면 상대 상승률, 출시 전 기간 대비 각 그룹의 변화, p-값, 승자를 확인할 수 있습니다. 차트에는 출시 시점이 표시된 두 그룹의 일별 지수와 출시 이후의 누적 차이가 나타납니다. 표에서는 그룹별, 신뢰구간이 포함된 지표별, 페이지별(출시 후 볼륨이 가장 큰 300개 페이지), 일별로 결과를 세분화해 볼 수 있습니다. 실험이 끝나면 완료로 표시하세요. 완료된 실험도 결과와 함께 목록에 그대로 남습니다.

결과를 신뢰할 수 있는 조건

다음과 같은 경우 페이지에 경고가 표시됩니다.

• 출시 후 14일이 지나지 않은 경우
• 출시 전 데이터가 14일 미만인 경우
• 클릭수나 노출수를 지표로 사용할 때, 어느 한 그룹의 출시 전 일평균이 5 미만이어서 일별 변동이 결과를 좌우하는 경우
• 출시 전에 트래픽이 전혀 없던 그룹이 있어 변화를 측정할 수 없는 경우

결과가 유의하더라도 이는 무작위 대조 시험이 아닌 관찰 결과입니다. 한 그룹에만 다른 변경이 배포되었거나, 두 템플릿에 서로 다르게 작용한 랭킹 업데이트가 있었다면 그 영향이 마치 변경의 효과처럼 보일 수 있습니다. 출시 시점과 테스트 기간 중에 일어난 다른 모든 일을 주석으로 기록해 두세요.

Google에 불이익 없이 테스트하기

이 보고서는 실제 페이지 그룹끼리 비교하므로 Google에 변형 페이지를 제공할 필요가 없습니다. 변형 URL을 사용하는 A/B 테스트를 별도로 진행한다면, Google은 Googlebot에 사용자와 다른 콘텐츠를 보여 주지 말 것, 변형 페이지가 rel="canonical"로 원본을 가리키게 할 것, 임시(302) 리디렉션을 사용할 것, 결과가 나오면 테스트를 종료할 것을 권장합니다(검색을 위한 A/B 테스트 권장사항).

AutoPSEO 활용 방법

콘텐츠 엔진의 새로고침 및 최적화 작업은 한 번에 한 페이지씩 변경합니다(아티클 최신 상태 유지하기). 이런 변경이 실제로 효과가 있는지 판단하려면, 새로 고친 아티클을 처리군에, 변경하지 않은 비슷한 아티클을 대조군에 넣고, 첫 번째 새로고침이 적용된 날짜를 시작일로 사용하세요.