データ検証

A/Bテストとは中小企業でも回せる、正しい進め方と判断の基準

A/Bテストとは、2案を同時に配信して成果を比較する検証手法です。何件集まれば判断してよいのか、同時に何箇所変えてよいのか、流入が少ないサイトはどうするか。実務上の判断基準を解説します。

2つのページ案を左右に並べて比較するイラスト

結論(30秒で読む答え)

A/Bテストとは、2つの案を同時に配信して成果を比較する検証手法です。1度に変えるのは1要素、判断は期間ではなく件数で行います。

この記事の内容
  1. A/Bテストが必要な理由
  2. 手順
  3. いつ判断してよいか
  4. 流入が少ないサイトはどうするか
  5. テストしやすい要素
  6. よくある質問(FAQ)

A/Bテストが必要な理由

A/Bテストとは、2つの案(AとB)を同じ期間に同じ条件で配信し、成果を比較する検証手法です。前後比較(先月と今月)では、季節性、広告出稿量、競合の動きといった外部要因が混ざるため、施策の効果を分離できません。同時配信であれば、この混入をかなり抑えられます。

欧米で標準的なデータ検証型のマーケティングでは、施策の採否をこの検証結果で決めます。勘と経験を否定するわけではなく、勘で立てた仮説をデータで確かめるという順序です。この原則は欧米式マーケティング®︎とはで詳しく述べています。

2案の成果を棒グラフで比較する図解

手順

  1. 仮説を1文で書く — 「CTAの文言を行動内容に変えれば、フォーム到達率が上がる」のように、変更点と期待する指標をセットで書きます。書けないうちは着手しません。
  2. 変えるのは1要素だけ — 見出しとCTAと画像を同時に変えると、どれが効いたか分かりません。
  3. 主要指標を1つ決める — クリック率で判断するのか、最終的な問い合わせ件数で判断するのか。先に決めないと、都合のよい指標を後から選んでしまいます。
  4. 必要件数に達するまで止めない — 途中経過で差がついても、そこで止めると誤判定します。
  5. 結果を記録する — 負けたテストほど価値があります。「効かなかったこと」の一覧が、次の打ち手の精度を上げます。

いつ判断してよいか

最もよくある失敗は、件数が少ない段階での判断です。コンバージョンが片側10件程度の時点では、日々の変動で優劣が簡単に入れ替わります。

  • 件数で決める — 一般には各案で数十件以上のコンバージョンが集まってから判断するのが安全です。必要件数は、元の成約率と検出したい差の大きさで変わります。
  • 期間は最低1週間、できれば2週間 — 曜日による行動差を平均化するためです。
  • 差が出なかったら「差がない」と結論する — 延々と続けて差が出るまで待つと、偶然の差を拾います。

注意

統計的な有意性の計算は多くのツールが自動で行いますが、出てきた数字を鵜呑みにせず、件数と期間が十分かを必ず自分で確認してください。

流入が少ないサイトはどうするか

月間のコンバージョンが数件しかないサイトでA/Bテストを回すのは現実的ではありません。その場合は次の順序が有効です。

  1. 定性調査を先に — ヒートマップ、セッション録画、既存顧客への短いヒアリング。どこで詰まっているかは、数十件の観察でも見えます。
  2. 明らかな欠陥を直す — 送料が最後まで出ない、モバイルでボタンが押しにくい、必須項目が多すぎる。これらは検証するまでもありません。
  3. 上位の指標でテストする — 問い合わせ件数ではなく、フォーム到達率のように件数が多く集まる中間指標で比較します。

テストしやすい要素

要素例件数の集まりやすさ
CTAの文言「送信する」→「無料で相談する」高い
広告の見出し訴求軸を変える高い
メールの件名開封率で比較高い
フォームの項目数任意項目の削除中
価格の見せ方月額表記/年額表記低い(件数が要る)

LPそのものの改善手順はLPOとは、成約率改善の全体像はCROとは?主要施策と進め方で解説しています。

よくある質問(FAQ)

A/Bテストとは何ですか?

A/Bテストとは、2つの案を同じ期間に同じ条件で配信し、成果を比較する検証手法です。前後比較では季節性や広告出稿量などの外部要因が混ざるため、同時配信で条件を揃えて比較します。

A/Bテストは何件集まれば判断してよいですか?

各案で数十件以上のコンバージョンが集まってからが目安です。必要件数は元の成約率と検出したい差の大きさで変わります。片側10件程度では日々の変動で優劣が入れ替わるため、判断は避けてください。

複数の要素を同時にテストしてもよいですか?

推奨しません。同時に複数を変えると、成果が動いた原因を特定できず次に活かせません。要素ごとの影響を分けて調べたい場合は、多変量テストという別の手法がありますが、必要な件数が大幅に増えます。

アクセスが少ないサイトでもA/Bテストはできますか?

件数が足りない場合は現実的ではありません。まずヒートマップやセッション録画などの定性調査で明らかな欠陥を見つけて直し、フォーム到達率のように件数が集まりやすい中間指標で比較する方法をお勧めします。

テストで差が出なかった場合はどうすればよいですか?

「差がない」と結論して次の仮説に移ってください。差が出るまで期間を延ばすと、偶然の変動を効果と誤認します。効かなかった施策の記録は、次の打ち手の精度を上げる材料になります。

何を、どの順でテストすべきか整理します

30分の無料診断で、現状のデータ量で回せる検証と、その前に直すべき箇所をお伝えします。
売り込みは行いません。

初月にご満足いただけなければ全額返金

上部へスクロール