A/Bテスト　ウェブサイトの改善にも統計学が活用される

ウェブサイトの改善にも統計学が活用されています。

ビジネスでウェブサイトを運営するときには、目的があります。それは、お客さんに興味を持ってもらう、自社に連絡をしてもらう、自社の商品を購入してもらうといったものでしょう。

WEBページの目的

個人の趣味で運営されているのなら、いろんな人に見てもらって役立つことができる情報を提供することでしょうが、ビジネスとして運営しているのであれば、訪問者の役に立つことと同時に、売上が目的となりますね。

自分たちが求める成果を得られることを、成約、またはコンバージョンといいます。

なにか特定の商品を販売しているページがあるとしましょう。そのページで商品を見たお客さんが連絡をくれて購入に至る、そういう流れをつくりたいわけです。

100人に見てもらって、何人が申し込んでくれたかといった割合のことを、成約率といいます。

成約率が高いとすれば、それは商品の魅力を伝えることができて、お客さんが買いたくなるようなページということになります。商品を販売提供している人は、成約率を高くしたいのは当然ですよね。

WEBページでの販売ページは、仮説検定で作り込む

では、成約率を高めるためにはどうしたらよいでしょうか。

• こういった文章にしたほうが商品の魅力が伝わりやすいのではないか
• お客さんはこの点がわからないので、もっと詳しく説明したほうがよいのではないか

といった考えをもって、WEBページをつくり、実際にお客さんから申し込みがあるかどうか検証をしていくことになりますね。

これは、仮説検証です。仮説を立てて、データを集めて、仮説が正しいか検証していく。もし正しいのでれば、そのやり方を継続していくことで、成約率を高められます。

そこで役立つのが、A/Bテストです。

A/Bテスト

A/Bテストは、WEBの解析においてよく使われる手法です。

A/Bテストとは、WEBページに

• Aパターン
• Bパターン

と2つのパターンのWEBページをつくり、どちらのほうが成約率が高いのか、比較をするテストです。とくに2パターン限定ではないですが、Ａ/Ｂテストと呼ばれてます。

とある会社が運営するサイトでは、現在Aパターンのページで商品販売をしています。A/B分析として、サイト訪問者がAパターンとBパターンのページをランダムに開くように設定し、それぞれの訪問者数と成約数を数えてみました。成約＝売上としています。次のような結果になりました。

Aパターン　10,000人の訪問があり、そのうち50件の成約
Bパターン　10,000人の訪問があり、そのうち60件の成約

Aパターン0.5％、Bパターンは0.6％でした。Bパターンを採用すれば、比較して1％高い成約率が見込めそうですね。

1％といっても、もともとの販売金額が大きければ、1％分の金額も大きなものになります。裏返すと、販売金額が小さければ、1％分の金額も小さいのですが。

たとえば、Ａパターンの場合、月に100,000人の訪問があるとしたら、500件の成約です。商品単価は6000円としたら、1ヵ月に3,000,000円の売上です。

Bパターンであれば600件の成約ですから、3,600,000円の売上となるのです。1％の成約率の違いであっても、売上金額が大きくなれば、バカにできません。

しかし、ここでひとつ疑問がわいてきます。

今回のページのパターンを変えたテストでは、新しいBパターンで成約率が1％改善されたとはいっても、たまたま増えただけじゃないのか、という点です。

「それは偶然じゃないの？」

テストの結果を社内で発表したら、誰かからそう言われるかもしれません。これに回答するにはどうしたらいいのでしょうか。ここで活かされるのが統計学なのです。

本当にそうなのか？を判断するのに統計学を活用する

「1％の成約率改善は、偶然ではないのか？」

それを判断するために、統計学の仮説検定を活用するのです。

仮説検定

仮説検定とは、上記のような差が本当にWEBサイトの違いによって起こったものなのか、それとも、本当はWEBサイトの成約率に違いは無いのに、今回だけ偶然に差が出てしまったのかを判定することです。

言いかえと、出るべくして出た意味のある違いなのか、それとも単なる誤差であるのか、です。

手順としては、まず、AとBのWEBサイトは同じであると仮説を立てます。

実際に得られた結果を見て、Bパターンの成約数が増えていたわけですが、実際には何も差が無いのに、偶然によって、この差が出てしまう確率を計算します。その確率のことを、ｐ値といいます。仮に実際には同じで成約数に違いはないのだとしても、誤差によって多かれ少なかれ差はできるわけで、小さな誤差であればよくある話、大きな誤差になるほどあまり起こらない話になります。

偶然によってできたデータのような差が生じる確率であるｐ値が、5％以下になるのであれば、偶然に起きたものではないと判断します。つまり、AとBにちゃんと違いがあって、Bパターンの成約数が多いと判断するのです。その判断基準は、慣習的に5％に設定されます。

独立性の χ²検定を使う

χ²検定（カイ二乗検定）を用いて検定をします。

データをクロス集計表にまとめる

上記のＡ/Ｂテストの結果をクロス集計表にまとめると、

	成約せず	成約	合計
Aパターン	9950	50	10000
Bパターン	9940	60	10000
合計	19890	110	20000

となります。

主にχ²検定（カイ二乗検定）には、独立性を検定する「独立性の χ²検定」、理論値に実測値が適合しているかどうかを検定する「適合度の χ²検定」がありますが、ここでは、独立性の χ²検定を利用します。その名前のとおり、それぞれが独立していることを検定するもので、AのデータとBのデータの違いが、偶然なのか、それとも起こるべくして起きた結果なのかを判定します。

期待値の計算

つぎに、期待値を計算します。

Aパターン、Bパターンそれぞれ10000件。

成約しなかったデータは合計19890件です。これをAパターンとBパターンのデータの数で分けると、

• Aパターン・・・9945
• Bパターン・・・9945

成約したデータは合計110件です。これをAパターンとBパターンのデータの数で分けると、

• Aパターン・・・55
• Bパターン・・・55

となります。それぞれ10000件ずつあるのだから、その比率で分けてやるのです。

どちらのWEBサイトにも違いがなかったとしたら、次のようなデータとなると、いえるのです。これが違いがないときの期待値となります。

	成約せず	成約	合計
Aパターン	9945	55	10000
Bパターン	9945	55	10000
合計	19890	110	20000

実際の観測値はこちらでした。

	成約せず	成約	合計
Aパターン	9950	50	10000
Bパターン	9940	60	10000
合計	19890	110	20000

観測値と期待値を用いて計算

観測値から期待値を引いた値を2乗し、期待値で割ります。

（9950－9945）² / 9945

（9940－9945）² / 9945

（60－55）² / 55

（50－55）² / 55

これらの値を足し合わせると、χ² 検定量になります。

＝0.00251＋0.00251＋0.45455＋0.45455

＝0.91412

数式で表すとこのようになります。

χ² ＝ Σ（ O_ij－E_ij ）² / E

Ｏは観測値、Ｅは期待値です。O_ij は、ｉ行目、ｊ列のところにある観測値を示しています。

この χ² 検定量は、χ²分布に従います。χ²分布表を見れば、AパターンとBパターンの差が偶然に生まれる確率を知ることができます。

χ² 検定量が同じ値でも、自由度がいくつなのかによって、確率が変わりますから、自由度を確認しましょう。

自由度は、行をｒ、列をｃとすると、（ｒ－1）（ｃ－1）で計算できます。

（ｒ－1）（ｃ－1）

（2－1）（2－1）

＝ 1

2行×2列のクロス集計表では、自由度は1となります。χ²分布表

自由度ν＼有意水準α	α＝0.20	α＝0.10	α＝0.05
ν＝1	1.642	2.705	3.841
ν＝2	3.218	4.605	5.991

χ² 検定量が大きいほど、

• Aパターン　10,000人の訪問があり、そのうち50件の成約
• Bパターン　10,000人の訪問があり、そのうち60件の成約

のこのデータが発生する確率が小さいといえます。

また、自由度が大きいと、χ² 検定量の値も大きくなりやすいですから、より大きなχ² 検定量がより大きくならないと、発生確率が小さいとはいえなくなります。自由度が1のときと、自由度2のときでは、発生確率が5％であるといえるχ² 検定量の値は、自由度2のときのほうが大きいです。

自由度＝1の場合は、χ² 検定量が3.841以上であれば、そのデータが発生する確率は、0.05、つまり5％以下ということになります。

先ほど、Ａ/Ｂテストの結果から得られたχ²検定量は、0.91412でした。これは、細かく記載された統計数値表を見たり、エクセルで計算したりすると、発生確率33.90%という結果でした。

33.90％の確率で起こることは、ＡパターンとＢパターンになにか違いがあって、成約率が変ったとかんがえるよりも、偶然起きたことなのだろうと考えるほうが妥当といえそうですね。

まとめ

サイトのページで成約率が高まっているのかどうか検証をするために活用できるのが、A/Bテストと呼ばれる分析手法。

ＡパターンとＢパターンでそれぞれ成約率に違いがあったときに、χ²検定を行うことで、それが本当に意味のある違いなのかを判断することができます。

偶然に起きたことで意味がある違いではない、と判定したのであれば、そのアイディアを採用しても意味がないだろうということになります。

意味のある違いだとわかれば、採用すれば成約率が高まるだろうと言えるのです。