A/Bテストとは？有意差の見方と必要なアクセス数、ECでやってはいけないケース

A/Bテストの解説記事を読むと、たいてい「2週間以上」「一定のアクセス数が必要」と書かれています。ところが、その「一定」がどれくらいなのかは書かれていません。上位の記事を8本読みましたが、必要な数を式や表で示しているものはありませんでした。

ここが分からないと、アクセスの少ないサイトでボタンの色を変えて「Bのほうが良かった」と結論を出す、ということが起きます。その差は、たいてい偶然です。

この記事では、A/Bテストに必要なサンプル数の出し方と、自社のアクセス数で確かめられる改善幅の早見表をまとめます。そのうえで、やるべきケースとやってはいけないケース、Shopifyでの始め方を書いています。対象は、自社ECを運営していて、サイトの改善を数字で判断したい方です。管理画面の表記は2026年10月時点のものです。

A/Bテストとは？

A/Bテスト（ABテスト）は、ページや広告を2つのパターンに分け、同じ期間に訪問者をランダムに振り分けて、どちらの成果が良いかを比べる方法です。元のパターンをA、変更したパターンをBと呼びます。

似た方法に、変更の前と後を比べる前後比較があります。違いは、時期の影響を受けるかどうかです。

	A/Bテスト	前後比較
比べ方	同じ期間に2パターンを出し分ける	変更前の期間と変更後の期間を比べる
時期の影響	受けない（両方が同じ条件）	受ける（セール、季節、広告の増減）
必要なもの	出し分けの仕組みと、十分な訪問数	特になし
分かること	変更そのものの効果	変更と、それ以外の要因が混ざった結果

前後比較で「リニューアル後にCVRが上がった」と言っても、同じ時期にセールをしていたり、広告の配信先が変わっていたりすれば、変更の効果かどうかは分かりません。A/Bテストは、この混ざりを取り除くための方法です。

ただし、取り除けるのは時期の影響だけです。訪問数が足りなければ、今度は偶然のばらつきと区別がつかなくなります。

ECでやるべきケースと、やってはいけないケース

先に結論を図にします。

表にすると、次のとおりです。

	内容
やるべきケース	十分な訪問数があるページで、結果によって判断が変わる大きな変更を試すとき
やるべきケース	価格の見せ方、送料無料ラインの表示、ファーストビューの構成、商品ページの情報の順番など、購入の判断に直接かかわる変更
やってはいけないケース	訪問数が足りないのに、小さな変更（ボタンの色、文言の言い回し）を試す
やってはいけないケース	明らかな不具合の修正をテストにかける（直せばよい）
やってはいけないケース	どちらが勝っても、やることが変わらないテスト
やってはいけないケース	セールや大型の広告出稿と重なる期間だけで結論を出す

「十分な訪問数」がどれくらいかは、次の節で数字にします。

有意差とは？偶然と見分けるための考え方

A/Bテストの結果には、必ず偶然のばらつきが混ざります。同じページを2つに分けて出しただけでも、片方のCVRが少し高くなるのは普通のことです。「Bのほうが高かった」という結果が、変更の効果なのか、たまたまなのかを見分ける目安が有意差です。

例で考えます。Aは10,000人中200件（CVR 2.0％）、Bは10,000人中230件（CVR 2.3％）だったとします。Bは15％良く見えます。ところが計算すると、この差は「有意差があるとは言えない」という結果になります。本当は差がなくても、このくらいの差は7回に1回ほど偶然に出るからです。

出てくる言葉を整理します。

言葉	意味
p値	AとBに本当は差がないと仮定したとき、今回と同じかそれ以上の差が偶然に出る確率
有意水準	「偶然とは考えにくい」と判断する線。A/Bテストでは5％（0.05）がよく使われる
有意差がある	p値が有意水準を下回った状態。偶然だけでは説明しにくい差、という意味
95％信頼区間	本当の差がおさまっていそうな範囲。0をまたいでいれば、差がない可能性も残っている

上の例のp値は約0.14です。0.05を上回っているので、有意差があるとは言えません。

有意差を計算する

AとBの数字を入れると、有意差があるかどうかを判定します。初期値は上の例の数字です。

計算の中身は、2つの割合の差の検定（z検定）です。

p値のもとになるz値
＝（BのCVR − AのCVR）÷ √（ p ×（1 − p）×（1 ÷ Aの訪問者数 ＋ 1 ÷ Bの訪問者数））

p：AとBを合わせた全体のCVR

z値の絶対値が1.96を超えると、p値が0.05を下回ります。信頼区間は、件数が少ないときにも外れにくいNewcombe-Wilson法で出しています。

有意差の読み方で、間違えやすい点

p値は「Bが優れている確率」ではありません。 p値が0.03でも、「97％の確率でBが良い」という意味にはなりません。差がないと仮定したときに、この結果がどれくらい珍しいかを表しているだけです。

有意差がないことは、差がないことの証明ではありません。 訪問数が足りなくて見分けられなかっただけ、という場合が多くあります。上の例も、同じCVRのまま訪問者がそれぞれ3万人になれば、有意差ありに変わります。

有意差があっても、差が大きいとは限りません。 訪問数が非常に多ければ、ごく小さな差でも有意になります。信頼区間を見て、差の大きさが事業にとって意味のある幅かどうかを確かめます。

何度も判定してはいけません。 この計算は、決めておいたサンプル数に達したあとに1回だけ使う前提です。毎日数字を入れて、有意になった日に止めると、偶然の差を拾います。理由はあとの節で説明します。

なお、ツールによっては「Bが勝つ確率」を表示するものがあります。これはベイズ推定という別の方法による数字で、p値とは意味が違います。同じ結果でも、ツールによって表示が変わるのはこのためです。

では、有意差が出るだけの訪問数はどれくらいなのか。次の節で数字にします。

必要なサンプル数はどう決まる？

必要な数は、2つの数字で決まります。現状のCVRと、確かめたい改善幅です。

CVRが低いほど、また確かめたい改善幅が小さいほど、必要な数は増えます。改善幅が半分になると、必要な数はおよそ4倍になります。

CVR2％のページで、改善幅ごとに必要な数を棒にすると、次のようになります。

1パターンあたりに必要な訪問者数を計算したのが下の表です。条件は、有意水準5％（両側）、検出力80％という、A/Bテストでよく使われる設定です。

現状のCVR	改善幅10％	改善幅20％	改善幅30％	改善幅50％
1％	約163,000人	約42,700人	約19,800人	約7,700人
2％	約80,700人	約21,100人	約9,800人	約3,800人
3％	約53,200人	約13,900人	約6,500人	約2,500人

改善幅は相対値です。CVR2％で改善幅20％なら、2.0％が2.4％になるかどうかを確かめる、という意味です。

表の数字は1パターンあたりなので、AとBの2つで比べるなら合計は2倍です。CVR2％のページで20％の改善を確かめるには、合計で約42,000人の訪問が要ります。

使った式は次のとおりです。

1パターンあたりの必要数
＝ 7.85 ×（p1 ×（1 − p1）＋ p2 ×（1 − p2））÷（p2 − p1）²

p1：現状のCVR　p2：改善後に期待するCVR
7.85：有意水準5％（両側）と検出力80％から決まる係数

表にない条件は、下の計算で出せます。1日の訪問者数を入れると、必要な期間も出ます。

Evan Miller の Sample Size Calculator のような計算ツールでも、同じ条件を入れれば近い数字が出ます（ツールによって式が少し違うので、数％のずれはあります）。

なお、厳密には数える単位はセッションではなく訪問者です。同じ人が期間中に何度も来ると、セッションで数えた場合は実際より多く見積もることになります。リピーターの多いECでは、セッションで数えると人数を多く見積もり、差がないのに差があるように見えやすくなります。GA4などで訪問者の数が取れるなら、訪問者の数で置きます。

自社のアクセス数で、どこまでの改善を確かめられる？

上の表を逆から読むと、自社のサイトで「検出できる改善幅」が分かります。こちらのほうが実務では役に立ちます。

テスト期間を4週間として、その間の対象ページの訪問数（2パターン合計）ごとに、確かめられる最小の改善幅を出しました。数字は四捨五入した目安です。

4週間の訪問数	CVR 1％	CVR 2％	CVR 3％
1万	64％以上	43％以上	34％以上
3万	35％以上	24％以上	19％以上
5万	27％以上	18％以上	15％以上
10万	18％以上	13％以上	10％以上
30万	10％以上	7％以上	6％以上

4週間の訪問が3万、CVR2％のサイトなら、確かめられるのは24％以上の差だけです。CVRが2.0％から2.2％になる程度の改善（10％）は、実際に起きていても、このサイトでは偶然のばらつきに埋もれて見えません。

ここから言えることは2つあります。

ひとつは、訪問数が少ないサイトほど、大きな変更しかテストできないということです。ボタンの色や文言の差し替えで20％も30％もCVRが変わることは、まずありません。そうした変更は、月に数万の訪問があるサイトでも確かめようがありません。

もうひとつは、テストするページを選ぶ必要があるということです。サイト全体では月10万セッションあっても、特定の商品ページに来るのがそのうち5千なら、そのページ単体でのテストは成り立ちません。全商品ページに共通する要素（購入ボタンまわり、送料の表示、レビューの位置）を対象にすると、訪問数を確保できます。

「2週間」は何の数字か

「A/Bテストは2週間以上」という目安はよく出てきます。これは、必要なサンプル数とは別の話です。

ECの購入は曜日で偏ります。平日と週末でCVRも客層も違うサイトは珍しくありません。月曜から木曜までの4日間でテストを終えると、週末の訪問者が結果に入りません。これを避けるために、テストは1週間単位で区切り、少なくとも1〜2週間は回す、というのが2週間の意味です。A/Bテストの研究で知られるRon Kohaviらの論文も、週単位で実施することを勧めています。

つまり順番はこうです。

1. 必要なサンプル数を計算する
2. 1日の訪問数で割って、必要な日数を出す
3. その日数を、1週間単位に切り上げる（最低でも1〜2週間）

必要な日数が8週間を超えるようなら、そのテストは現実的ではありません。途中でセールや商品の入れ替えが入り、条件が変わってしまうからです。その場合は、確かめたい変更をもっと大きなものに変えるか、テストをやめる判断をします。

結果を読み違える、よくある原因

途中でのぞいて、差が出たところで止める

いちばん多い失敗です。毎日管理画面を見て、Bが勝っている日に「結果が出た」と止めてしまう。

数字は日々揺れるので、長く見ていれば、どこかで偶然Bが大きく勝っている瞬間が来ます。そこで止めれば、実際には差がなくても「差がある」という結論になります。Evan Millerの試算では、1件ごとに結果を確かめて差が出た時点で止める、という極端な設定の場合、本来5％に抑えたはずの誤判定の確率が26.1％まで上がります。確認の回数が少なければここまでは上がりませんが、見るたびに誤判定の確率が積み上がる点は同じです。

対策は単純で、始める前に終了の条件を決めておくことです。必要なサンプル数と期間を先に決め、そこに達するまで結論を出しません。途中で数字を見ること自体は構いませんが、見て止めるのは避けます。

見る指標を後から選ぶ

CVR、カート追加率、直帰率、客単価、滞在時間。指標をたくさん並べると、どれかひとつは偶然Bが勝ちます。終わってから「カート追加率ではBが良かった」と都合のよい指標を拾うと、どんなテストでも成功になってしまいます。

判断に使う指標は、始める前にひとつ決めておきます。ECなら購入のCVRか、訪問者1人あたりの売上が基本です。

あわせて、悪化していないかを見張る指標も決めておきます。返品率、解約率、ページの表示速度、エラーの件数などです。判断に使う指標でBが勝っても、こうした指標が悪くなっていれば採用しません。『A/Bテスト実践ガイド』では、前者を判断の指標、後者を悪化を見張る指標として、始める前に分けて決めることを勧めています。

振り分けの人数が偏っている

50対50で分けたはずなのに、Aが10,000人、Bが9,400人になっている。こういうときは、結果を見る前に振り分けの仕組みを疑います。片方のパターンだけ表示が遅くて離脱している、計測タグが片方で発火していない、といった不具合が隠れていることがあります。

この偏りは Sample Ratio Mismatch と呼ばれます。Microsoftは、自社の実験の約6％でこれが起きていたと報告しています。振り分けが偏ったテストの結果は、どちらが勝っていても使いません。

偏りを見つけたら、日別、ブラウザ別、新規か再訪かで人数を並べて、どこで偏っているかを探します。原因が分からないまま、人数をそろえるように調整してはいけません。

意外なほど大きく勝った

「ボタンの色を変えたらCVRが30％上がった」のように、思っていたより大きな差が出たときは、まず計測の不具合を疑います。『A/Bテスト実践ガイド』では、これを「トワイマンの法則」として紹介しています。面白い結果や意外な結果ほど、たいていは何かの間違いだ、という経験則です。片方だけ計測タグが二重に発火している、片方のページだけボットが多く来ている、といった原因がよくあります。

仕組みそのものを確かめたいときは、AとBに同じページを出す「A/Aテスト」を、本番と同じ配分で回してみます。差が出ないはずのテストで差が出たり、人数が偏ったりするなら、振り分けか計測に問題があります。

最初の数日だけ良い

リピーターが多いサイトでは、見慣れないデザインが出ると最初だけ反応が良くなることがあります。数日たつと差が縮んでいく場合、変更の効果ではなく目新しさの効果だった可能性があります。1週目と2週目以降で差が変わっていないかを見ておきます。

複数の変更を同時に入れる

見出しと画像とボタンを一度に変えてBが勝った場合、どれが効いたのかは分かりません。ただ、これは必ずしも悪いことではありません。訪問数が少ないサイトでは、ひとつずつ試していては差が出ないので、まとめて大きく変えて「新しい構成のほうが良い」ことだけを確かめる、という使い方が現実的です。どの要素が効いたかまで知りたいのか、良いほうを選べればよいのかを、先に決めておきます。

訪問数が足りないサイトは、何をすればいい？

上の表で「自社では大きな差しか確かめられない」と分かった場合、やれることは4つあります。

1. 明らかな不具合は、テストせずに直す

送料がチェックアウトまで分からない、スマホで購入ボタンが画面の外にある、決済手段が少ない。こうした問題は、テストで確かめるまでもありません。直してから前後の数字を見れば十分です。どこから直すかはECサイトのCVRとは？平均値の見方と改善の優先順位にまとめています。

ULTRO NOTES｜サイト構築・改善ECサイトのCVR（コンバージョン率）平均は？Shopifyの目安ECサイトのCVR（コンバージョン率）の平均を、Shopify 427店の2026年のデータで業種別に整理しました。Shopify・GA4・広告で数字が違う理由と確認画面、購入までを段階に分けて落ちている箇所から直す手順も解説します。

2. テストは大きな変更に絞る

商品ページの構成を作り直す、ファーストビューで伝える内容を変える、セット販売の見せ方を変える。20％以上の差が出てもおかしくない変更だけを対象にします。

『ファンダメンタルズ×テクニカル マーケティング』は、A/Bテストの前に「A・B以外のXはないか」を考えるよう勧めています（同書はAB-Xと呼んでいます）。何を言うかと、どう言うかを分けて、何を言うかの候補を先に出す。A・B・Cのどれも目標のCVRに届かないなら、改良を重ねず、別の案を作る、という順番です。言い回しの違いより、伝える中身の違いのほうが大きな差になりやすい、という考え方で、訪問数の少ないサイトほど当てはまります。

見せる選択肢の数も、大きな差が出やすい変更です。『影響力の武器 実践編』に出てくるジャムの試食の実験では、24種類並べたときより6種類のときのほうが購入した人の割合が高く、3％と30％でした。P&Gがシャンプーの種類を26から15に減らしたら、売上が10％増えたという例もあります。商品数やバリエーションが多いストアなら、入口で見せる数を絞る案は、テストの候補になります（ここはULTROの見方です）。

3. 購入より手前の指標で見る

カート追加率は、購入のCVRより高い数字になります。元の割合が高い指標ほど、必要なサンプル数は少なくて済みます。カート追加率を判断の指標にすれば、同じ訪問数でも小さな差を確かめられます。

ただし、カート追加が増えても購入が増えるとは限りません。カート追加率で判断した変更は、反映したあとに購入のCVRが下がっていないかを前後比較で確認します。

4. 変更の前後を、期間で比べる

A/Bテストができない、またはそこまでするほどでもない変更は、変更前と変更後の期間を比べます。参考にはなりますが、読み方には注意が要ります。次の節で説明します。

A/Bテストができないときは、期間で比べる

訪問数が足りない、出し分けの仕組みがない、テストするほどの変更でもない。そういうときは、変更の前と後で数字を比べます。期間比較、前後比較と呼ばれる方法です。

手軽で、どのサイトでもできます。ただし、A/Bテストと違って、変更以外の要因がそのまま混ざります。一応の参考にはなるが、変更の効果だと言い切れる数字ではない、という前提で使います。

数字を動かす要因は、変更のほかにもある

要因	起きること
曜日・給料日・連休	平日と週末、月初と月末で、CVRも客層も変わる
季節・天候・行事	商材によっては、週ごとに需要が動く
セール・クーポン・ポイント施策	実施中はCVRが上がり、終わった直後は下がる
広告の予算・配信先・クリエイティブ	新規の流入が増えると、売上は増えてもCVRは下がりやすい
流入元の構成	メルマガの配信日やSNSで話題になった日は、訪問者の質が変わる
在庫・欠品・新商品の発売	主力商品が欠品すれば、ページを直していてもCVRは落ちる
競合のセールや値下げ	自社が何もしていなくても数字が動く
サイトのほかの変更、計測の変更	同じ時期に入れた別の修正や、タグの変更の影響が混ざる
たまたまの上下	数字が悪かった時期のあとは、何もしなくても元に戻りやすい

最後の行は見落とされがちです。「CVRが落ちたので直した」という場合、直す前の期間はたまたま悪かった時期であることが多く、何もしなくても次の期間は戻ります。これを変更の効果と読み違えます。

比べるときにそろえること

• 同じ長さ、同じ曜日構成の期間で比べる：変更前の4週間と変更後の4週間、のように週単位でそろえる
• セールや大型の広告出稿と重ならない期間を選ぶ：重なった場合は、その期間を除いて比べる
• 前年の同じ時期も見る：季節で動く商材は、前年も同じ時期に同じ動きをしていないかを確かめる
• 流入元とデバイスで分けて見る：全体のCVRが上がっていても、広告の流入が減っただけ、ということがある
• 変更していないページと比べる：直したページだけが上がっていて、ほかのページが変わっていなければ、変更の効果である可能性は高くなる
• 変更した日を記録しておく：あとから見返したときに、どの変更の前後なのか分からなくなるのを防ぐ

最後から2つ目は、手軽で効く方法です。サイト全体が同じように上がっているなら、それは時期の影響です。

結果はどう読むか

期間比較の結果は、次のように使い分けます。

結果	読み方
大きく悪化した	変更に問題がある可能性が高い。元に戻すか、原因を調べる
ほぼ変わらない	大きくは悪くなっていない。ただし、時期の影響で上がった分が悪化を打ち消している可能性もある
少し良くなった（1〜2割）	時期の影響と区別がつかない。効果があったとは言い切らない
大きく良くなり、ほかのページや前年には同じ動きがない	変更の効果である可能性が高い

大きく悪化していないかの確認には使えます。「この変更でCVRが8％上がった」のような細かい効果の測定には使えません。社内や取引先に報告するときも、期間比較の数字であることと、同じ時期にあったほかの出来事を添えておくと、あとで判断を誤りません。

Shopifyで始めるには

標準機能：ロールアウトの「実験」

Shopifyは、標準機能でA/Bテストができるようになっています。場所は管理画面の［マーケット］＞［ロールアウト］です。

ロールアウトには3つのタイプがあります。

タイプ	用途
ローンチ	変更を対象の訪問者全員に反映する
イベント	決めた期間だけ変更を出し、終了時に元に戻す（セールなど）
実験	変更ありと変更なしを出し分けて比べる（A/Bテスト）

「実験」では、変更を反映していない状態が「コントロール」、反映した状態が「処理」と呼ばれます。Shopifyのヘルプで確認できた仕様は次のとおりです。

• 対象プラン：ロールアウトはベーシックプラン以上、実験はGrowプラン以上
• 振り分け：既定でコントロール50％、処理50％
• 終了日：既定で開始から90日後
• 変更に含められるもの：テーマの編集または置き換え、チェックアウトとお客様アカウントの設定、カタログ、ディスカウント
• 結果で見られる指標（テーマを変更する実験の場合）：コンバージョン率の推移、直帰率、チェックアウト到達率、カート追加率。変更の種類によって、見られる指標は違います
• 使えないもの：Vintageテーマ、Liquidテンプレートの変更

注意点がひとつあります。ヘルプの分析のページには、統計的に差があると言えるかどうかの判定や、必要なサンプル数についての説明が見当たりません（2026年10月時点）。画面に出たCVRの差を、そのまま「勝ち」と読まないほうが安全です。この記事の表で必要な数を先に出し、その数に達してから判断します。

アプリを使う場合

Shopify App Storeには、A/Bテスト専用のアプリがあります。よく名前が挙がるのは次の3つです。

アプリ	月額の開始価格	特徴
Intelligems	69ドル	価格や送料のテストに強い
Shoplift	99ドル	テーマの変更をコードなしでテストできる
Elevate	49ドル	価格テストに対応したプランがある

料金はApp Storeの掲載内容（2026年10月時点）です。価格テストなど一部の機能は上位プランに限られます。3つとも管理画面は英語です。

Growプラン以上ならまず標準機能で試し、価格のテストや細かい出し分けが必要になったらアプリを検討する、の順で進めます。

無料で始めるなら：Optimize Next

以前は無料で使えたGoogle オプティマイズは、2023年9月30日に終了しています。いまも紹介している記事がありますが、新しく使うことはできません。

その代わりとして国内でよく使われているのが、Optimize Next です。PROJECT GROUP株式会社が提供しているA/Bテストツールで、基本の機能は無料で使えます。画面の構成がGoogle オプティマイズに近いので、以前オプティマイズを使っていた方は迷わず操作できます。

項目	内容
無料でできること	ページの一部を変えるテスト、別のページに振り分けるリダイレクトテスト、GA4との連携、Microsoft Clarityとの連携
有料プランで使えること	3パターン以上のテスト、複数ページにまたがるテスト、ターゲティング条件、配分の比率の変更、スケジュール設定など
有料プランの料金	月3,900円（税抜・年間契約）から
前提	GA4が入っていること。結果の集計にGA4のデータを使う
結果の表示	訪問者数、目標の達成率、「最適である確率」

料金と機能は、公式ドキュメントの2026年6月の改定後の内容です。

導入の手順、無料で困る場面、結果の読み方はOptimize Nextとは？無料でできる範囲と、Google オプティマイズ終了後の選び方に詳しく書いています。

ULTRO NOTES｜サイト構築・改善Optimize Nextとは？無料プランでできることと料金・導入手順【2026年】Optimize Nextは、Google オプティマイズの終了後に国内で広く使われている無料のA/Bテストツールです。無料プランの範囲、2026年6月改定後の料金、導入の手順、結果の読み方、Shopifyで使うときの注意をまとめます。

使うときに知っておくことが2つあります。

ひとつは、結果の判定がp値ではないことです。Optimize Nextは、ベイズ推定による「最適である確率」を表示します。「パターン1が最適である確率が91％」のように読める数字で、この記事で説明した有意差（p値）とは別の指標です。確率が高く出ていても、訪問数が少ないうちは日ごとに大きく動きます。必要なサンプル数を先に決め、そこに達してから判断する、という進め方は同じです。

もうひとつは、設置する場所です。計測用のタグを、ページのheadのなるべく上に直接入れることが推奨されています。Shopifyではテーマのコードに入れる形になります。チェックアウトの画面はテーマの外にあるので、テストの対象にできるのは、商品ページやカートなどテーマで作られているページです。公式ドキュメントにShopify向けの手順は見当たらないため、導入するときは複製したテーマで動作を確かめてから本番に入れてください。

Shopifyの標準の「実験」はGrowプラン以上が対象なので、Basicプランのストアや、Shopify以外のカートを使っているサイトでは、Optimize Nextが最初の選択肢になります。

価格のA/Bテストは慎重に

同じ商品を、訪問者によって違う価格で見せるテストがあります。技術的にはできますが、ECでは注意が要ります。

• 他の販売チャネルと価格がずれる。Shopifyのヘルプは、訪問者の一部にだけ出す変更はオンラインストアにしか適用されないと説明しています。Googleのショッピング広告などに出ている価格と、サイトで表示される価格が食い違う可能性があります
• お客様が気づく。別の端末やSNSで違う価格を見たお客様からの問い合わせが起きえます
• 表示のルール。今回調べた範囲では、訪問者ごとに価格を変えるテストを直接扱った消費者庁の指針は見つかりませんでした。ただ、テスト中の高いほうの価格を、あとで「通常価格」として値引き表示の根拠に使うような運用は、景品表示法の二重価格表示の考え方に触れるおそれがあります

ULTROは法律の専門家ではありません。価格を変えるテストを行う場合は、事前に専門家に確認してください。価格そのものではなく、送料無料ラインの表示やセットの組み方など、見せ方のテストから始めるほうが安全です。

検索順位への影響はある？

A/Bテストを正しく行えば、検索順位への悪影響は避けられます。Googleは公式ドキュメントで、次の4点を挙げています。

ポイント	内容
クローキングをしない	Googlebotと人間の訪問者に、違う内容を見せない
rel=“canonical” を使う	テスト用に別のURLを作る場合、元のURLを正規として示す
302リダイレクトを使う	テスト用のURLに転送する場合は、301（恒久）ではなく302（一時）
必要な期間だけ行う	結果が出たら、テスト用の要素は速やかに外す

同じURLのまま表示だけを出し分ける方式（Shopifyのロールアウトやテーマを書き換えるアプリ）なら、URLまわりの対応は基本的に不要です。テストを終えたあと、使わなくなったアプリやスクリプトを残したままにしないことだけ気をつけます。

広告のA/Bテストは、別の話

ここまではサイト側のテストの話でした。広告にもA/Bテストの機能があります。Google 広告では［テスト］のページから、入札戦略やランディングページなどを変えた比較ができます。Meta広告にもA/Bテストの機能があります。

考え方は同じで、必要な数を先に決め、途中で止めない、という原則は変わりません。ただし広告の場合は、媒体の配信の最適化が入るぶん、完全にランダムな振り分けにならないことがあります。広告のクリエイティブの勝ち負けは、媒体のテスト機能で出た結果だけでなく、ショップ側の売上も合わせて見ます。

テストを回す順番

最後に、実際に進めるときの順番をまとめます。

1. 対象ページの4週間の訪問数と、現状のCVRを調べる
2. この記事の表で、自社で確かめられる改善幅を出す
3. その幅を超えそうな変更だけを候補にする
4. 判断に使う指標をひとつと、悪化を見張る指標を決める
5. 必要なサンプル数と終了日を決めて、記録しておく
6. 開始したら、振り分けの人数が偏っていないかだけ確認する
7. 終了日まで結論を出さない
8. 結果を反映したあと、購入のCVRと客単価を前後で確認する

テストの数をこなすことが目的ではありません。年に数本でも、結果によって判断が変わるテストを確実に回すほうが、売上にはつながります。サイトのどこから手を付けるかの優先順位づけは、ULTROの攻めの保守でも扱っています。

参考にした情報

• A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは（ロン・コハヴィ、ダイアン・タン、ヤー・シュー）
• ロールアウトと変更のタイプ - Shopify ヘルプセンター
• ロールアウトを使用するための要件と考慮事項 - Shopify ヘルプセンター
• ロールアウトの分析 - Shopify ヘルプセンター
• 検索における A/B テストのベスト プラクティス - Google 検索セントラル
• ［2023 年 9 月廃止］Google オプティマイズ - アナリティクス ヘルプ
• 【重要】料金プラン改定のお知らせ - Optimize Next
• 統計的有意性とP値に関するASA声明（日本語訳） - 日本計量生物学会
• How can we determine whether two processes produce the same proportion of defectives? - NIST/SEMATECH e-Handbook of Statistical Methods
• Regression to the mean: what it is and how to deal with it - International Journal of Epidemiology（2005）
• How Not To Run an A/B Test - Evan Miller
• Sample Size Calculator - Evan Miller
• Controlled Experiments on the Web: Survey and Practical Guide - Kohavi et al.（2009）
• Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research
• ファンダメンタルズ×テクニカル マーケティング（木下勝寿）
• 影響力の武器 実践編［第二版］（N・J・ゴールドスタイン、S・J・マーティン、R・B・チャルディーニ）