구글 플레이 스토어 등록정보 실험 설정값과 결과 읽는 법

2026-09-19

구글 플레이 스토어 등록정보 실험(Store listing experiments)의 개념과 무엇부터 테스트할지는 플레이 스토어 A/B 테스트 가이드에서 다뤘습니다. 이 글은 실험을 만들 때 마주치는 설정값 하나하나가 무슨 뜻인지, 그리고 결과 화면을 어떻게 읽어야 하는지에 집중합니다. 설정을 기본값 그대로 두고 돌렸다가 몇 주째 결과가 안 나오는 경우가 많은데, 대부분 이 설정값과 앱의 방문자 수가 맞지 않아서 생기는 일입니다.

실험 유형부터 고른다

두 유형 중 하나만 돌릴 수 있습니다. 기본 그래픽 실험 1개를 돌리거나, 현지화 실험을 최대 5개까지 돌리는 식입니다.

기본 그래픽 실험은 앱의 기본 언어 등록정보를 대상으로 합니다. 주의할 점은, 현지화된 그래픽이 따로 등록된 언어로 스토어를 보는 사용자는 실험에서 빠진다는 것입니다. 한국어를 기본 언어로 두고 영어·일본어용 스크린샷을 따로 올려 두었다면, 영어·일본어 사용자는 이 실험에 포함되지 않습니다.

현지화 실험은 언어를 지정해서 돌립니다. 한 번에 최대 5개 언어까지 넣을 수 있고, 설명 문구를 테스트할 수 있는 것은 이쪽뿐입니다. 짧은 설명이나 전체 설명의 문구를 바꿔보고 싶다면 현지화 실험을 써야 합니다.

변형은 최대 2개

현재 등록정보(대조군)에 대해 변형을 최대 2개까지 붙일 수 있습니다. 변형을 2개 넣으면 비교할 수 있는 안이 늘어나지만, 실험 대상 방문자를 셋으로 나누게 되므로 결과가 나오기까지 더 오래 걸립니다. 방문자가 많지 않은 앱이라면 변형은 1개로 두는 편이 현실적입니다.

구글의 권장 사항도 같은 방향입니다. 한 번에 에셋 하나씩만 바꿔서 테스트해야 성과 변화의 원인을 확실히 알 수 있다는 것입니다. 아이콘과 스크린샷을 한꺼번에 바꾼 변형이 이기면, 무엇 때문에 이겼는지 알 수 없습니다.

목표 지표

실험의 승패를 무엇으로 판단할지 고르는 항목입니다. 현재 선택지는 세 가지입니다.

대부분의 게임은 설치 클릭을 목표로 둡니다. 사전 등록 페이지를 운영하는 중이라면 설치 버튼이 없으므로 사전 등록 클릭을 골라야 합니다.

고급 설정 세 가지

실험 생성 화면의 고급 설정에는 세 값이 있습니다. 셋은 서로 맞물려 있어서, 하나를 바꾸면 결과가 나오기까지 필요한 방문자 수와 기간이 달라집니다. 실험 생성 화면이 입력한 값에 맞춰 통계적으로 유의한 결과를 얻는 데 필요한 기간과 설치·열기·사전 등록 수를 추정해서 보여주므로, 값을 바꿔가며 이 추정치를 확인하는 것이 설정의 핵심입니다.

실험 대상 비율 (Experiment audience percentage)

스토어 방문자 중 몇 퍼센트를 실험에 참여시킬지 정합니다. 참여한 방문자는 대조군과 변형들에 나뉘어 배정됩니다. 비율을 높이면 결과가 빨리 나오지만, 성과가 나쁜 변형을 보는 사람도 그만큼 늘어납니다. 변형 쪽이 확실히 나쁠 가능성이 있는 과감한 시도라면 비율을 낮게, 비슷한 수준의 두 안을 비교하는 거라면 높게 잡습니다.

최소 감지 효과 (Minimum detectable effect)

변형과 대조군 사이에 이 정도 이상의 차이가 나야 어느 쪽이 낫다고 판정한다는 기준선입니다. 차이가 이 값보다 작으면 결과는 무승부가 됩니다.

이 값을 작게 잡으면 미세한 차이까지 잡아낼 수 있지만, 그 차이를 확신하려면 방문자가 훨씬 많이 필요합니다. 방문자가 하루 수십 명 수준인 인디 앱이 최소 감지 효과를 작게 잡으면 몇 달이 지나도 결론이 나지 않습니다. 작은 앱일수록 이 값을 크게 잡고, 대신 변형도 대조군과 확연히 다르게 만드는 것이 맞습니다. 스크린샷 문구 한 단어를 바꾸는 식의 미세한 테스트는 방문자가 많은 앱에서나 의미가 있습니다.

신뢰 수준 (Confidence level)

실험이 보여주는 신뢰 구간이 실제 성과를 얼마나 자주 포함하는지를 뜻합니다. 높일수록 우연히 이긴 것처럼 보이는 결과(거짓 양성)가 줄어들지만, 역시 더 많은 데이터가 필요합니다.

세 값의 관계를 정리하면 이렇습니다.

결과 화면 읽기

실험이 진행되면 각 변형의 성과가 신뢰 구간과 함께 표시됩니다. 신뢰 구간은 "이 변형의 실제 성과 차이는 대략 이 범위 안에 있다"는 뜻입니다. 구간 전체가 0보다 위에 있으면 대조군보다 낫다고 볼 수 있고, 구간이 0을 가로지르면 아직 어느 쪽인지 모른다는 뜻입니다.

결과는 다음 중 하나로 정리됩니다.

무승부는 실패가 아닙니다. 설정한 기준만큼의 차이가 없었다는 뜻이므로, 두 안 중 브랜드 방향에 더 맞거나 제작·유지가 편한 쪽을 골라도 성과상 손해가 크지 않다는 정보가 됩니다. 여러 변형이 모두 대조군보다 나아서 무승부가 된 경우에는 그중 하나를 골라 적용하면 됩니다.

"데이터 더 필요"가 오래 계속된다면 설정을 의심해야 합니다. 방문자 수에 비해 최소 감지 효과가 너무 작거나 신뢰 수준이 너무 높은 경우입니다. 실험은 6개월이 지나면 자동으로 종료되므로, 한 달이 넘도록 결론이 나지 않으면 실험을 멈추고 최소 감지 효과를 키우거나 변형을 더 과감하게 바꿔서 다시 시작하는 편이 낫습니다.

운영 팁

요일 효과를 피하려면 최소 1주는 돌립니다. 스토어 방문자 구성은 평일과 주말이 다릅니다. 결과가 초반에 빨리 나오는 것처럼 보여도 한 주 전체를 채운 데이터로 판단하는 편이 안전합니다.

실험 중에는 다른 변수를 건드리지 않습니다. 실험 기간에 광고 캠페인을 크게 켜거나 끄면 방문자 구성이 바뀌어 결과 해석이 어려워집니다.

승리한 변형도 다시 확인합니다. 변형을 적용한 뒤 몇 주간 실제 설치 전환율이 실험 결과만큼 올랐는지 통계 화면에서 확인합니다. 실험 기간의 특수한 상황 때문에 이긴 결과일 수도 있습니다.

스크린샷 변형을 여러 개 만들어야 한다면, 같은 템플릿에서 문구와 색만 바꾼 세트를 뽑는 방식이 제작 시간을 가장 줄여줍니다. 규격은 구글 플레이 스크린샷 규격과 피처 그래픽 가이드를 참고하세요.

정리

스토어 등록정보 실험에서 결과가 안 나오는 원인은 대부분 방문자 수에 비해 너무 까다로운 설정입니다. 방문자가 적은 앱이라면 변형은 1개, 최소 감지 효과는 크게, 변형은 대조군과 확연히 다르게 만드는 것이 기본입니다. 결과 화면에서는 신뢰 구간이 0을 넘는지를 보고, 무승부는 "어느 쪽을 골라도 큰 차이가 없다"는 정보로 받아들이면 됩니다. 설정 항목의 이름과 선택지는 Play Console 업데이트에 따라 바뀔 수 있으므로 실험 생성 화면의 안내를 함께 확인하세요.