オンボーディング画面のABテストの実行

[ujiro99]

課題

現在、インストール時に表示しているオンボーディング画面では、最初のIntro画面で60%が離脱している。
この離脱率を改善するため、ABテストを実施する

ABテスト機構の実装

オンボーディング画面でのABテストを実現するため、以下を行う

• 画面のランダムなフラグによるvariantの切り替え対応
• フラグの不揮発な保存(chrome.storage.local)
• onboarding_で始まるGAイベント送信時、パラメータとしてvariant: {フラグ}を送る
• onboarding_startイベントにはexperiment_idをパラメータに追加

Variant配分比率のremoteコンフィグ

ABテストの配信比率を、chrome web storeへのデプロイ無しに変更出来るように、 packages/hub から設定ファイルを取得出来るようにし、これでコントロールする

• 以下を参考にする
  https://github.com/ujiro99/selection-command/blob/main/packages%2Fhub%2Fpublic%2Fdata%2Fai-services.json
• 新規設定ファイルへ、以下のような設定値を記載する(実装イメージです)
  ’’’{
  "onboarding_v2": {
  "enabled": true,
  "allocation": 0.5
  }
  }’’’
• オンボーディング開始時にこの設定をフェッチして、コントロールする

オンボーディング画面改善案

以下をBバリアントとする

• 現在のintro画面はステップとして削除
• 検索コマンドのステップから開始する
• 検索コマンドのステップで、はじめにselection commandのロゴ画像+ようこそ！のメッセージを表示。
• 3秒経過後、現在の画面を表示する
• メッセージの表示、切り替え時は、以下のサイトのアニメーションを参考に、ブラー+フェードインのトランジションを行う
  • https://linear.app/