1713328417
2024-04-15 19:46:35
確かに、A/B テストで何ができるかは誰もが知っています。 しかし、A/A テストとは何でしょうか? どう違うのですか?
A/B テストを使用すると、Web ページ (「コントロール」) を取得し、そのページのバリエーション (新しい「バリアント」) を作成し、これら 2 つの異なるエクスペリエンスを Web サイト訪問者に提供できることがわかります。より優れたパフォーマー。 分割テストとも呼ばれる A/B テスト プロセスでは、設定された指標リストに従って、元のパフォーマンスとバリアントのパフォーマンスを比較し、2 つのどちらがより良い結果をもたらしたかを確認します。
Optimizely Web Experimentation などの実験プラットフォームのおかげで、バックエンド コードを変更せずに Web ページの 2 つのバリエーションをテストできることの否定できない価値も、私たちの多くが認識しています。 価値を生み出すまでのスピードについて話しましょう。
では、A/A テストとは何でしょうか? そして、なぜこの種の「テスト」を実験プログラムの計画段階と戦略段階に組み込む必要があるのでしょうか?
A/Aテストとは何ですか?
A/A テストは、実験プラットフォーム上の他のすべてのテストの前に行われ、基本的に次のような役割を果たします。 の 実験プログラムの練習実行。 A/B テストとは異なり、A/A テストは元の Web ページからのバリエーションを作成しません。 代わりに、A/A モデルは、プラットフォーム上で実際のテストが実行される前に、潜在的に発生する可能性がある問題をチェックするために、元の Web ページをそれ自体のコピーに対してテストします。
したがって、A/B テストでは、Web ページの 2 つの異なるバージョンを比較します (2 つの違いがどれほど小さいかは関係ありません)。 あるn A/A テストは、まったく同じ Web ページの 2 つのバージョンを比較します。 A/A テストでは、コントロールとバリアントの間に違いはありません (バージョン A = バージョン A)。 基本的に、Web ページ自体をテストしていることになります。
もちろん、そこには疑問が生じます…
A/A テストが役立つのはなぜですか?
A/A テストの目的は主に 2 つあります。
- プラットフォーム レベル: Web 実験プラットフォームの機能をテストするため
- 実験レベル: データキャプチャとテストセットアップの有効性をテストするため
したがって、A/A テストでは、 プラットフォームが実験プログラムを実行する準備ができていることを保証します 広く普及する前に。
A/A テストを使用する場合
したがって、A/A テストは、Web サイトに Optimizely Javascript タグを実装した直後に開始する最初のテストにする必要があります。
注: 複数の Web サイトがある場合やシングルページ アプリケーション (SPA) Web ページを使用している場合は、すべてのエクスペリエンスで同じタグを使用している場合でも、タグがヘッダー コードに新たに実装されるたびに A/A テストを実行する必要があります。 。
A/A テストの設定方法
タグがインストールされたら、A/A テストのセットアップを開始できます。 A/B テストの作成方法と同様に、A/A テストの作成は、 新しい実験の作成 Optimizely Experimentation の右上隅にあるボタンをクリックして、 A/B テスト ドロップダウンメニューから。 (はい、A/B。ただし、このテストでは B は A のままです。)
A/A テストのセットアップは非常にシンプルかつ迅速ですが、このタイプのテストに含める必要がある 1 次メトリクスと 2 次メトリクスを考慮する必要があります。
A/A テストの指標
できるだけ多くの指標を含めたくなるかもしれませんが、そうするのはやめてください。 Optimizely では、テストのラグを避けるために、テストごとに合計メトリクスを 5 個以下にすることを推奨していることに注意してください (プライマリ メトリクスと 2 ~ 4 個のセカンダリ メトリクス)。
A/A テストの指標の目的は、 キャプチャされたデータ間の顕著な違いを探します 両方の Web ページから。 言い換えれば、このテストでは、コントロール A の結果をバリアント A の結果と比較して、データが比較的同じであることを確認できます。
ページメトリクス
ページレベルの指標: ページビュー そして 直帰率 これらのメトリクスは基本的かつ重要なデータ ポイントを捕捉するため、通常、A/A テストに含まれます。 これらのメトリクスから収集されたデータは、Web サイトが Javascript コードを介して Optimizely Web Experimentation にデータを送信しているかどうかをすばやく確認するのに役立ちます。
A/A テストの結果にページビューが記録されなかった場合、対処すべき問題があることがすぐにわかります。
注: この問題をトラブルシューティングするには、Optimizely タグの実装を再確認して、Web サイトのヘッダー コードにそのタグが表示されていることを確認します。
クリックとカスタム指標
特定のユーザーのアクションを追跡するメトリクスも、A/A テストに追加すると役立つ場合があります。 これらのメトリクスには、 クリックイベント および/または トランザクションイベント これにより、特定のユーザー アクションが実験プラットフォームによって正しくキャプチャされたかどうかを知ることができます。
Web サイトによっては、これらのイベントの一部がカスタム開発されている場合もあります。そのため、これらのカスタム イベントが、期待されるタイプのデータを提供するように開発されていることを確認するために、A/A テストに含めるさらなる理由が得られます。 。
一般的な経験則として、実験プログラムのほとんどのテストで表示される可能性が高いメトリックを使用することをお勧めします。 含めるのが最も合理的なメトリクスを追加します。これは、実験プラットフォームの機能の検証と、計画されたテストのデータを収集するメトリクスの精度を検証するのに役立つメトリクスです。
決定するのに助けが必要ですか? 読む: “どのテスト指標を選択するかを決定する方法」
A/A テストでは何を確認する必要がありますか?
A/A テストの理想的な結果は、Web ページの 2 つの同じバージョン間で同様の結果が得られることです。 A/A テストでは 2 つの同一の Web ページのメトリクスを相互に比較するため、それらの Web ページ間にメトリクス値に違いがないことが期待されます。
A/A テストが成功すると、コントロール (A) と「バリアント」(A) の間でほぼ同じ結果が示されます。
収集された結果はそうではないかもしれませんが、 その通り 同様に、コントロール A の結果とバリアント A の結果の間の差異は非常にわずかであるはずです。 いずれかのメトリクスの A/A テスト結果に大きな違いが見られた場合は、そのメトリクスの設定を詳しく調べる必要があることがわかります。 (繰り返しますが、単にページビューがプラットフォームの結果に記録されていない場合、最初のステップは、Web サイト上のタグのインストールを確認することです。)
統計的有意性がゼロ
2 つのエクスペリエンス間で同様の結果が得られた場合、どの指標も統計的に有意に達することはありません。 したがって、統計的有意性は、A/A テストの結果を確認するときに役立つガイドとして機能します。
理想的には、A/A テストの期間全体を通じて、すべてのメトリクスの統計的有意性が「平坦」になることを探します。 統計的な有意性が急増した場合は、対処すべき問題にフラグを立てることができます。
ヒント: Optimizely Web Experimetation の以下のグラフ ビューを使用して、A/A テスト指標の統計的有意性の上昇を探します。

A/A テストの使用例
A/A テストは「テスト」そのものというよりも有益な実践であり、いくつかの理由から実験プログラムに組み込むことができる実用的なステップです。 たとえば、このテストを使用して次のことができます。
- 実験プラットフォームの機能を確認する
- 特定の Web ページでテストを実行する可能性を判断する
- ソフトウェアのパフォーマンス指標の精度を検証する
- プライマリメトリクスとセカンダリメトリクスの追跡と分析を確認します
- 目標の予測に使用できるこれらの指標のベースライン データを取得します。
または、もちろん、上記のすべてです。 ご覧のとおり、A/A テストではソフトウェアの準備が整っているかどうかを検証するだけでなく、個々のテストの設定をスポット チェックすることもできます。 最初の A/B テストまたは多変量テストの前に、このタイプのテストを「予行演習」として使用すると、実験プログラムを正常に開始するために必要な安心感が得られます。
2024 年 4 月 15 日
#テスト #知っておくべきこと