どのテスト指標を選択するかを決定する方法

Optimizely Web Experimentation でテストを構築する準備をするとき、多くの場合、何を変更したいのか、どこを変更したいのかがわかります。 誰をターゲットにしたいのかさえ、比較的簡単に思い浮かぶかもしれません。 ただし、追跡および測定できるようにしたいメトリクスを正確に知っていると、計画段階で立ち止まってしまうことがよくあります。

主要な指標

あなたのことを考えてください プライマリメトリクス テストが仮説に望ましい効果をもたらすかどうかを判断するために必要な重要な情報として。 このデータ ポイントは、テスト仮説を証明または反証する検証指標または「証明ポイント」として機能します。

• ヒント: 手がかりとして、テスト仮説を調べてください。

理想的には、プライマリ指標をターゲティング ページで追跡して、テストの成功 (または失敗) がこの指標の結果に直接起因することを確認できます。 言い換えれば、主要な指標がターゲティング ページから遠くに配置されるほど、テストの主要な指標に到達する前に、他の変数がユーザーの行動に影響を与える可能性が高くなります。

ユーザーが変化を確認するページ (ターゲティング ページ) とユーザーがアクションを起こすと予想されるページ (主要指標) の間に距離が生じた場合、追加の要因がこれら 2 点間のユーザーの行動に影響を与える可能性があります。

言い換えれば、他の範囲外の変数による影響を避けるために、主要な指標に対応するユーザー アクションがテスト対象のページに存在する必要があります。

たとえば、バリアント内の[カートに追加](ATC) ボタンのテキストを「今すぐ購入」から「今すぐ入手」に変更して、この文言がより多くのユーザーにこのボタンをクリックするよう誘導するかどうかを確認するテストを考えてみましょう。 (意味論についていくつかの研究を行った結果、製品の購入に関連する単語としての「購入」よりも、製品の受け取りの速さをほのめかす単語としての「ゲット」の方がユーザーにとって魅力的であるかどうかを知りたいと考えています。 ）

最終的にはユーザーに購入プロセスを完了してもらいたいと考えていますが、この A/B テストの主な目的は、より多くのユーザーがバリアントとコントロールの[カートに追加]ボタンをクリックするかどうかを確認することです。 したがって、追跡する主な指標は「カートに追加」ボタンのクリック数になります。

この主要な指標が、テストの失敗/成功に直接帰属するためのユーザー アクション (ATC ボタンをクリック) が行われる[ターゲティング]ページにも存在することに注目してください。

この例からわかるように、電子商取引 Web サイトのテストの主要な指標は、必ずしも収益指標ではありません。 それでも 訪問者あたりの収益 (RPV) は、電子商取引 Web サイトの重点指標であり、ビジネス目標をサポートする可能性がありますが、この指標が常にその Web サイトで実行されるテストの主要な指標であると想定することはできません。

• ヒント: テストの主要な指標を決定するために、このテストのバリアントが生成すると予想される望ましい結果を考慮してください。

二次指標

ただし、バリアントに加えられた変更は、最終的にこのテストによって生み出される収益に影響を与える可能性があるため、収益は依然として留意すべき重要な指標です。 したがって、このテストの主要な指標ではありませんが、このテストによって生成された収益は、コントロールとバリアントの間で比較するのに興味深いものになります。

ここが 二次指標、または次に重要な指標が機能します。 この特定の電子商取引の例では、このテストに関連する二次指標として、訪問者あたりの収益 (RPV) と生成される総収益が考えられます。

考慮すべき追加の指標としては、次のものが挙げられます。

• コンバージョン
• 変換速度
• 平均注文額、または AOV

上記の指標によって、顧客の購入プロセスのさまざまな段階についての洞察も得られることに注目してください。 ユーザーが Web サイトにアクセスした瞬間から購入に至るまで、いくつかのアクションが実行されます。 カスタマー ジャーニーのこの最終目的地、つまりコンバージョン ポイントは注目に値しますが、その間のステップにも注目する価値があります。

二次指標は、カスタマー ジャーニーに沿って発生する特定のユーザーのアクションや行動を詳しく調べる機会を与えてくれるので、段階的に進歩と減少を観察することができます。

メトリクスの優先順位付け

Optimizely Web Experimentation 内では、メトリクスは優先度に従ってランク付けされます。 メトリック リストの先頭では、プライマリ メトリックが最高にランク付けされているため、最初に優先されます。 その後追加された各 (セカンダリ) メトリックは、その後の優先順位でランク付けされます。 したがって、リスト内で主なメトリクスを確立したら、追加の各メトリクスがテストにとってどれほど重要かを検討し、これらのセカンダリ メトリクスをこの順序で追加します。

Optimizely Web Experimentation では、青色で表示されるプライマリ メトリックとは対照的に、セカンダリ メトリックはグレーで表示されます。 この「青色」の指標に与えられた目立つことは、指標の設定を再確認し、このテストで最も重要な指標が主指標として先頭に配置されていることを確認するためのリマインダーとして機能します。

• ヒント:[メトリック]セクション内のドラッグ アンド ドロップ機能を使用して、 必要に応じてメトリクスを入力します。 それぞれに与える優先順位に満足できるまで、メトリクスを移動させます。 配置に基づいてメトリクスの色が自動的に変化することに注目してください。 一番上に配置されたメトリクスは自動的に青色になり、プライマリ メトリクスとして識別され、メトリクス リストのさらに下に配置されたメトリクスは灰色になります。

洞察を多様化するためにテストに大量のメトリクスを追加したいと思うかもしれませんが、メトリクスが多ければ多いほど良い結果が得られるとは限りません。 メトリクスの数が増えると、最高ランクのメトリクスが統計的有意性に達するまでの速度が妨げられる可能性があり、テストの実行時間が長くなる可能性があります。

Optimizely Web Experimentation プラットフォームのテストに 5 つを超えるメトリクスが追加されると、警告メッセージが表示されます。 このメッセージは、1 つのテストに対してあまりにも多くのメトリックを選択しないようにアドバイスします。 したがって、一般的な経験則として、テストにとって最も重要なメトリクスの統計的有意性を達成するには、追加のメトリクスを 1 ～ 4 個の範囲内に収めるようにしてください。

モニタリング指標

モニタリング指標 また、対照と変異体の違いによって生じた可能性のある他の影響についての洞察も得られます。 バリアントは、ターゲット ページの元の (またはコントロール) バージョンから特定の変更を生み出すという目的と意図を持って作成されますが、バージョン間のこの変更は、ユーザー エクスペリエンス内の他の要素に影響を与える可能性があります。

一般的なモニタリング指標には、直帰率、離脱率、平均エンゲージメント時間、スクロール追跡パーセンテージなどが含まれており、バリアントの変更によって対象ページのコンテンツ消費が増減したかどうかを確認できます。 これらの指標を他のクリックストリーム分析ツールやヒートマッピング ツールと組み合わせて、バリアントによって引き起こされるユーザーの行動やエンゲージメントをより深く洞察することもできます。

モニタリングメトリクスをプライマリメトリクスとセカンダリメトリクスと組み合わせて使用すると、テストが全体的なユーザーエクスペリエンスに与えた影響を総合的に把握するのに役立ちます。

メトリクスを編集、レビュー、最終決定する

非常に多くのメトリクスをすぐに利用できるため、できるだけ多くのメトリクスをテストに含めたくなるかもしれません。 ただし、テストの結果を薄めないように、簡潔さを重視することを忘れないでください。 重要な指標を選択する そして、テストの目標に直接関係するものを優先します。 編集の目を使って妥当な範囲 (4 ～ 8) 内に収まり、テストの成功を判断するために必要なデータを提供するものだけを含めてください。

2024 年 2 月 8 日