EC運営・データ活用
ECの改善手法として、ABテストは広く知られています。しかし、日々の売上を作りながら改善を続ける現場では、すべての候補を最後まで均等に出し続けることが、必ずしも合理的とは限りません。
反応の悪い広告やバナーにも同じ量のアクセスを流し続ければ、その期間中の売上機会を失います。一方で、少し結果が良かった案へ早い段階で寄せすぎると、本当は伸びる可能性があった案を捨てることになります。
この問題を考えるために役立つのが、多腕バンディットの考え方です。本記事では、ABテストを否定するのではなく、ABテストだけでは扱いにくい「学びながら配分する」という課題を、EC運営の具体例から整理します。
先に結論：ABテストと多腕バンディットは役割が違う
ABテストと多腕バンディットは、どちらも複数案の成果を比べる方法です。ただし、最終的に解こうとしている問題が異なります。
ABテスト
どちらが良いかを判断する
条件をそろえて候補を比較し、差があるか、今後どちらを標準にするかを判断します。
主な目的：因果関係を学ぶ、社内の標準を決める、再利用できる知見を作る。
多腕バンディット
どの案へどれだけ配分するかを決める
結果を見ながら、良さそうな案への表示や予算を増やしつつ、他の可能性も一定量試します。
主な目的：運用中の機会損失を減らす、変化へ追随する、限られた流量を配分する。
ABテストは「学ぶ仕組み」、多腕バンディットは「配分する仕組み」です。実務では、どちらか一方を選ぶより、目的に応じて役割を分ける方が合理的です。
この違いを理解せずに多腕バンディットを導入すると、「数値が良い案へ自動で寄せればよい」という短絡的な運用になります。反対に、すべてをABテストで解こうとすると、比較の正確さを優先するあまり、運用中の売上機会を失いやすくなります。
ABテストだけでは足りなくなる5つの理由
ABテストは有効な方法ですが、ECのすべての改善に向いているわけではありません。特に、広告・バナー・レコメンド・商品露出のように、毎日大量の意思決定が発生する領域では、次の問題が起こります。
LIMIT 01
負けている案にも配信し続ける
一般的なABテストでは、A案とB案へ均等にアクセスを割り当てます。比較としては公平ですが、途中からB案が明らかに弱そうでも、検証を終えるまでは一定量を流し続けます。
比較精度を守る代わりに、検証中の売上機会を使います。
LIMIT 02
結果が出るまで運用を固定しやすい
テスト期間を固定すると、その間の曜日、天候、競合セール、広告単価、在庫状況の変化を十分に反映できません。ECの環境は、検証中にも動いています。
昨日の勝ち案が、今日も勝つとは限りません。
LIMIT 03
候補が増えるほど必要な流量が増える
バナーが2案ではなく10案ある場合、すべてを均等に比較すると各案へ十分なデータがたまるまで時間がかかります。アクセスの少ないサイトでは、結論が出る前にキャンペーンが終わることもあります。
候補数と検証期間が増えるほど、実務との距離が広がります。
LIMIT 04
平均値だけでは顧客差を捉えにくい
全体ではA案が勝っていても、新規顧客にはB案、既存顧客にはA案が効いている場合があります。平均値だけで勝者を決めると、一部の顧客に合わない案を全員へ適用することになります。
「全体の勝者」と「各顧客にとっての勝者」は同じとは限りません。
LIMIT 05
勝者を決めた瞬間から陳腐化が始まる
一度勝った訴求を固定すると、見慣れによる反応低下、季節変化、競合の追随、顧客構成の変化を見逃します。勝者を決めることと、勝者が勝ち続けることは別の問題です。
検証を止めた瞬間に、環境変化への感度が下がります。
多腕バンディットとは何か
多腕バンディットは、複数の選択肢を少しずつ試しながら、成果の良い選択肢へ配分を寄せていく考え方です。名称は、複数台のスロットマシンのうち、どれを回せば最も多くの報酬を得られるかを考える問題に由来します。
ECに置き換えると、スロットマシンは広告クリエイティブ、バナー、商品、クーポン、レコメンド枠などです。報酬はクリック、購入、粗利、継続購入などになります。
複数案を出す
最初はどれが良いかわからないため、小さく試します。
成果を観測する
購入、粗利、継続など、決めた評価指標を更新します。
配分を変える
良さそうな案を増やしつつ、他の案も完全には止めません。
再び学ぶ
新しい結果を受けて、次の配分を更新します。
「探索」と「活用」を同時に行う
多腕バンディットの中心にあるのは、「探索」と「活用」のバランスです。
探索
まだ確信できない候補を試す
データが少ない新しい案や、今は成績が低いものの改善余地がある案へ、一定量のアクセスを配分します。探索を止めると、新しい勝ち筋を見つけられません。
活用
現時点で有望な候補を多く使う
これまでの結果から成果が期待できる案へ、より多くの表示や予算を配分します。活用を弱めすぎると、学習は進んでも売上を取り逃します。
探索だけでは、いつまでも実験が終わりません。活用だけでは、早い段階の偶然に固定されます。多腕バンディットは、この二つを運用中に調整する仕組みです。
ECで重要なのは「正解率」だけでなく機会損失
テストの評価では、「最終的に正しい勝者を選べたか」が注目されがちです。しかし、ECではテスト期間中にも実際の顧客が訪れ、広告費が使われ、在庫が動きます。そのため、結論の正しさだけでなく、結論に至るまでにどれだけ機会を失ったかを見る必要があります。
運用で見るべき考え方
累積機会損失 ＝ 本来得られた成果 − 実際に得られた成果
多腕バンディットの分野では、この差を「リグレット」と呼びます。ECでは、売上、粗利、顧客獲得数などに置き換えて考えられます。
4つのバナーを配信する例
次は説明用の単純な例です。4つのバナーを10,000回表示し、最終的にB案の購入率が最も高かったとします。
| 候補 | 想定購入率 | 均等配信の表示数 | 適応配信の表示例 |
|---|---|---|---|
| A案 | 1.5％ | 2,500 | 1,500 |
| B案 | 2.4％ | 2,500 | 5,200 |
| C案 | 1.9％ | 2,500 | 2,100 |
| D案 | 1.2％ | 2,500 | 1,200 |
※上表は仕組みを説明するための例であり、実際の配分はアルゴリズム、結果のばらつき、更新頻度などで変わります。
均等配信では比較しやすい一方、成果が低いD案にも最後まで2,500回を配信します。適応配信では、初期に各案を試した後、B案へ比重を移すため、検証中の購入数を増やしやすくなります。
ただし、序盤の偶然でB案へ寄せすぎると誤った固定が起こります。そのため、弱そうな案にも一定量を残し、「今の成績」と「まだわかっていない度合い」を同時に扱う必要があります。
クリック率ではなく、何を報酬にするか
多腕バンディットは、指定した評価指標を最大化するように配分を変えます。したがって、指標の設計を誤ると、仕組みは正しく動いているのに事業が悪化します。
CTRを最大化した結果、利益が下がることもある
強い値引き表現や過度な煽り表現は、クリック率を上げやすい一方、購入率の低下、低粗利商品の偏り、返品・キャンセルの増加、ブランド毀損につながる可能性があります。CTRだけを報酬にすると、クリックされるが利益を生まない案へ配分が寄ることがあります。
ECでは「事業への貢献」をできるだけ近く置く
可能であれば、クリックではなく購入、売上ではなく粗利、初回購入だけでなく継続や返品まで含めた価値を報酬へ近づけます。
例：セッション単位の事業報酬
事業報酬 ＝ 売上 − 原価 − 値引き − 決済・物流費 − 返品見込費用 − 広告費
実務ではすべてを即時に計算できないため、取得できる範囲から始めます。ただし、最終的に何を増やしたいのかは最初に明文化します。
クリック・商品閲覧・カート投入
結果が早く返るため学習しやすい反面、売上や利益とのズレが起きやすい。
購入・粗利・新規顧客獲得
事業成果に近い一方、発生数が少ない場合は学習速度が落ちる。
継続購入・LTV・返品率・解約率
経営判断に近いが、結果が返るまで時間がかかり、実装も複雑になる。
一つの指標へ詰め込みすぎない
すべてを一つの点数へまとめると、何が起きたのかが見えにくくなります。実務では、最適化する主指標を一つ決めたうえで、守るべき制約指標を別に持つ方が管理しやすくなります。
最大化する指標
粗利額、購入数、継続率など
アルゴリズムが増やしにいく中心指標です。
下限・上限を守る指標
返品率、CPA、在庫数、苦情率など
一定水準を超えた案は、成果が良くても配信を制限します。
代表的な配分方法
多腕バンディットには複数の方法があります。実務で重要なのは、名称を覚えることより、「何を基準に探索量を決めるのか」を理解することです。
ε-greedy（イプシロン・グリーディ）
大半は勝ち案へ配分し、一部だけランダムに試す
たとえば90％は現時点の勝ち案へ、10％は他の案へ配分します。考え方が単純で実装しやすく、手動運用にも落とし込みやすい方法です。
弱点：探索が一律のため、データが少ない案と十分に負けている案を区別しにくい。
UCB（Upper Confidence Bound）
成績に加えて「まだわかっていない幅」を評価する
平均成果が高い案だけでなく、データが少なく不確実性の大きい案にも機会を与えます。「今の実績」と「伸びる可能性」を足して配分する考え方です。
弱点：成果が時間で変わる環境や、複雑な顧客差を扱うには追加設計が必要。
Thompson Sampling
各案が勝つ確率を更新しながら配分する
各案の成果率を一つの固定値として扱わず、どの程度の可能性があるかを分布として持ちます。その分布から値を抽出し、最も高かった案を選ぶ動作を繰り返します。
特徴：不確実性を自然に配分へ反映しやすく、購入・非購入のような結果にも使いやすい。
顧客ごとに勝ち案が違うという問題
通常の多腕バンディットは、全体でどの案が良いかを学びます。しかしECでは、顧客の状況によって反応が変わります。
安心・保証・返品条件
ブランドや商品への不安を減らす訴求が効きやすい。
新商品・関連商品・会員特典
基本的な安心説明より、次に買う理由が重要になる。
短い説明・即時性・決済の簡便さ
小さい画面で判断しやすい情報設計が求められる。
比較表・仕様・サポート
価格だけではなく、判断材料の充実が購入へ影響する。
顧客の属性や状況を踏まえて選択肢を変える方法を、文脈付きバンディット、またはコンテキスト付きバンディットと呼びます。ここでいう文脈には、流入元、端末、会員状態、閲覧履歴、時間帯、商品カテゴリなどが含まれます。
全員にとって一番良い案を探すのではなく、「この状況の顧客には、どの案が良いか」を学ぶ段階へ進むと、平均値では見えなかった改善余地が生まれます。
ただし、細分化しすぎると学べなくなる
顧客を細かく分けるほど、一つの条件あたりのデータ量は減ります。新規・既存、スマートフォン・PC、広告・自然検索など、事業上の意味が大きく、一定の流量がある条件から始めるべきです。
また、個人情報やセンシティブな属性を不用意に使うべきではありません。説明可能性、プライバシー、差別的な配信にならないかという観点も、成果指標と同じレベルで管理する必要があります。
ABテストと多腕バンディットを組み合わせる設計
実務では、ABテストをやめて多腕バンディットへ置き換えるのではなく、意思決定を層に分けると整理しやすくなります。
原則を学ぶ層：ABテスト
送料無料ライン、保証表示、商品ページ構成、会員登録導線など、今後の標準ルールにしたい施策を公平に比較します。ここでは、再利用できる因果の知見を作ることを優先します。
日々の流量を配分する層：多腕バンディット
広告クリエイティブ、バナー、レコメンド、露出商品など、候補が頻繁に変わる領域は、成果を見ながら配分を更新します。ここでは運用中の利益を守ることを優先します。
事業上の制約を守る層：ルールとガードレール
在庫不足、最低粗利、ブランド表現、契約条件、配送能力、返品率などをルール化し、数値が良くても配信してはいけない案を制御します。
意味を判断する層：人によるレビュー
数値の変化が一時的なものか、競合施策の影響か、顧客への長期的な影響がないかを確認します。アルゴリズムは配分できますが、事業の意味までは自動では決められません。
重要なのは、検証と運用を同じ会議で混ぜないこと
ABテストの結果は「何が効いたか」を議論し、多腕バンディットの結果は「どこへどれだけ配分したか」を議論します。目的が違うため、同じ指標表で一括管理すると判断が曖昧になります。
たとえば、月次会議ではABテストから得た原則を整理し、週次または日次ではバンディット型の配分を調整する、といった運用が考えられます。
ECでの具体的な活用場面
多腕バンディットは、候補を頻繁に入れ替えられ、結果が比較的早く返り、配分量を調整できる領域に向いています。
複数のクリエイティブへ予算を配分する
価格訴求、安心訴求、機能訴求、利用場面訴求を小さく配信し、CPAや粗利を見ながら配分を更新します。媒体の自動最適化を使う場合も、何を成果として渡しているかを確認する必要があります。
訪問者へ出す訴求を変える
セール、保証、送料無料、ランキング、特集などを出し分けます。クリックだけでなく、その後の購入や粗利までひも付けて評価します。
どの商品を上位へ出すかを更新する
売れ筋だけを固定すると、新商品や高粗利商品が学習されません。一定量の探索枠を残し、閲覧、購入、在庫、粗利を踏まえて露出を変えます。
顧客ごとに関連商品を変える
同じカテゴリの商品、上位モデル、消耗品、セット商品などを試し、顧客の状況に応じて提案を変えます。平均単価だけでなく、返品や満足度も確認します。
値引き額と対象を固定しない
全員へ同じ割引を配るのではなく、購入可能性や粗利への影響を見ながら配布条件を調整します。ただし、不公平感や表示ルールには十分な配慮が必要です。
件名や配信内容を運用中に寄せる
開封率だけでなく、クリック、購入、配信停止まで含めて評価します。短期売上を追いすぎると、強い訴求ばかりになり顧客疲労を生むため、接触頻度も制約にします。
在庫を含めると、配分の考え方が変わる
ECでは、成果の高い商品を無制限に露出できるとは限りません。売れ筋商品の在庫が薄い場合、そこへ配分を寄せすぎると欠品し、広告費の無駄や顧客体験の悪化につながります。
そのため、商品露出では購入率だけでなく、在庫日数、補充可能性、代替商品の有無、欠品後の影響を含めて判断します。売れやすさだけでなく、「今売るべきか」を報酬へ反映する考え方です。
導入を失敗させない実装手順
多腕バンディットは、ツールを導入すれば完成するものではありません。何を候補にし、何を成果とし、どの範囲まで自動で動かすかを先に決めます。
意思決定の単位を一つに絞る
最初は「広告バナー4案」「TOPページの特集枠3案」など、候補と配分対象が明確な領域に限定します。サイト全体の最適化から始めると、何が原因で数字が動いたか追えません。
報酬と制約を定義する
主指標を粗利、購入数、CPAなどから一つ決めます。そのうえで、返品率、在庫数、ブランド表現など、自動最適化で超えてはいけない条件を設定します。
最初の探索期間を設ける
初日から一つの案へ寄せるのではなく、一定期間または一定件数までは各案へ最低限の流量を配分します。新しい案を評価するための冷却期間ではなく、学習開始に必要な観測期間です。
更新頻度を決める
結果が少ないのに毎分更新すると、偶然の変動へ過剰反応します。購入数が少ないECでは日次や週次、広告クリックのように結果が多い場合はより短い間隔など、成果発生量に合わせます。
配分履歴を残す
各案がいつ、誰に、どれだけ表示され、どの成果につながったかを記録します。最終結果だけでは、アルゴリズムの判断が妥当だったか検証できません。
人が停止できる仕組みを持つ
表示崩れ、誤価格、在庫切れ、クレーム増加など、数値反映を待てない問題があります。自動配分より強い停止ルールと、即時に止められる運用責任者を決めます。
月次で「学び」を別に整理する
配分結果を見て終わらず、どの顧客に何が効いたか、次の制作や商品企画へ何を反映するかを整理します。運用最適化を、組織の知識へ変える工程です。
成熟度に合わせて段階的に進める
手動で配分を変える
週次で成果を見て、50：30：20などへ調整する。
ルールで自動化する
一定件数を超え、CPAが基準内なら配分を増やす。
バンディットで適応配分する
不確実性を含めて配分を継続的に更新する。
顧客・在庫・利益まで統合する
顧客の状況や事業制約を含めて最適化する。
よくある失敗と注意点
データが少なすぎる
月に数件しか購入がない商品で、10案を同時に学習させても判断は安定しません。候補数を減らす、対象カテゴリをまとめる、より手前の指標を暫定利用するなどの対応が必要です。
成果が返るまでの時間を無視する
比較検討期間の長い商品では、クリックから購入まで数日かかります。すぐに購入しなかった顧客を失敗と判定すると、短期で決める顧客だけに合う案へ偏ります。
新規性の効果を実力と誤認する
新しいバナーは目立つため、一時的に反応が上がることがあります。短期の上昇だけで配分を寄せると、数日後に失速します。経過時間を考慮し、定期的に再評価します。
アルゴリズムが作った偏りを、顧客の好みだと誤認する
ある案へ多く配信した結果、その案の購入数が増えただけなのに「顧客はこの案を好む」と判断することがあります。配信量と成果率を分けて確認する必要があります。
媒体の自動最適化と二重に動かす
広告媒体側でも配信最適化が行われている場合、自社側でも同時に配分を変えると、どちらの判断で結果が変わったか分からなくなります。制御する範囲を明確に分けます。
短期利益だけを最大化する
値引きや強い訴求に寄せ続けると、定価販売、ブランド、顧客との関係が弱くなることがあります。短期の粗利だけでなく、接触頻度、リピート、返品、顧客満足を監視します。
多腕バンディットは、判断責任をなくす仕組みではない
アルゴリズムが出した配分は、設定した目標、入力データ、制約条件の範囲内での答えです。何を成果と呼ぶか、どの顧客体験を守るか、どの程度のリスクを許容するかは、事業側が決めなければなりません。
まとめ：実験ではなく、意思決定の運用へ
ABテストは、施策の効果を公平に比較し、今後の標準を決めるために有効です。一方、多腕バンディットは、結果が出るまで待つのではなく、学びながら流量や予算を配分するために使います。
EC運営では、検証している間にも広告費が使われ、顧客が来訪し、在庫が減ります。そのため、「最終的に何が正しかったか」だけでなく、「そこへ至るまでにどれだけ成果を取り逃したか」を管理する必要があります。
ABテストで原則を学ぶ
今後も使うルールや設計を、公平な比較で判断する。
多腕バンディットで日々配分する
成果を見ながら、表示・予算・露出を有望な案へ寄せる。
粗利・在庫・顧客体験で制約する
数字が良いだけで、何でも自動で増やさない。
学びを商品・制作・運営へ戻す
配分結果を一時的な最適化で終わらせず、組織の知識にする。
ABテストだけでは足りない理由は、比較精度が低いからではありません。ECでは、学ぶことと同時に、今この瞬間の配分も決め続けなければならないからです。
