Rẽ nhánh thử nghiệm A/B
Tính năng A/B test trong Chương trình nhiều bước (Journey Builder) cho phép người dùng có thể thử nghiệm tối đa 4 phiên bản của journey để tìm ra phiên bản mang lại hiệu quả nhất.
Cấu hình thử nghiệm
Thêm khối Rẽ nhánh thử nghiệm A/B vào journey. Trong modal cấu hình thử nghiệm:
Điền tên và action mục tiêu của thử nghiệm. Action mục tiêu là action tiêu chí để tính toán độ hiệu quả của từng phiên bản thử nghiệm
Thêm số nhánh muốn thử nghiệm. Người dùng có thể cấu hình tối đa 4 nhánh để thử nghiệm.
Cấu hình tỷ lệ phân phổ profiles cho từng nhánh. Tỷ lệ phần trăm nhánh phiên bản cần phải là giá trị từ 1 -100 cho mỗi nhánh, tổng tỷ lệ các phiên bản phải bằng 100.
Sau khi thêm khối Rẽ nhánh thử nghiệm A/B vào chương trình journey, người dùng có thể thêm bất kì khối tương tác nào vào mỗi nhánh.
Lưu ý một journey chỉ cho phép có 1 khối Rẽ nhánh thử nghiệm A/B.
Thống kê về thử nghiệm
Thống kê của thử nghiệm A/B được cập nhật liên tục trong quá trình journey hoạt động và cho đến khi journey kết thúc + 7 ngày. Các thống kê bao gồm:
Lượt tương tác: Số lượng profiles duy nhất (unique customer profiles) đã vào nhánh và có ít nhất 1 tương tác thành công* trong nhánh đó.
Lượt chuyển đổi: Số lượng profiles duy nhất (unique customer profiles) đã vào nhánh và phát sinh ít nhất 1 action mục tiêu trong nhánh đó.
Tỷ lệ chuyển đổi (CVR): Là tỷ lệ Lượt chuyển đổi/ Lượt tương tác.
*Tương tác thành công được định nghĩa trên từng loại action mục tiêu:
| Action mục tiêu | Tương tác thành công |
|---|---|
Sử dụng voucher | Gán voucher thành công ở Khối tặng voucher |
Mở/ Đọc tin nhắn (đối với Email và Push Notification) | Khách hàng nhận được Email/ Push Notification |
Click tin nhắn (đối với Email) | Khách hàng nhận được Email |
Lưu ý: Thống kê Lượt tương tác và Lượt chuyển đổi chỉ ghi nhận với Khối tương tác nằm dưới các nhánh của Khối A/B. Thống kê Lượt tương tác và Lượt chuyển đổi sẽ không ghi nhận khi không có Khối tương tác tương ứng dưới các nhánh của Khối A/B (Xem Ví dụ sau)
Ví dụ: Journey có cấu hình như sau:
Tặng Voucher
Thử nghiệm A/B với action mục tiêu là Dùng voucher
Nhánh 1: Gửi Push Notification #1
Nhánh 2: Gửi Push Notification #2
Trường hợp này Thống kê Lượt tương tác và Lượt chuyển đổi của nhánh không thể ghi nhận do Khối tương tác mục tiêu là Tặng Voucher không nằm dưới nhánh của thử nghiệm A/B
Cách cấu hình đúng:
Thử nghiệm A/B với action mục tiêu là Dùng voucher
Nhánh 1: Tặng Voucher sau đó Gửi Push Notification #1
Nhánh 2: Tặng Voucher sau đó Gửi Push Notification #2
Câu hỏi thường gặp
1. Khi một khách hàng đủ điều kiện được vào journey có thử nghiệm A/B nhiều lần, họ sẽ được vào nhánh nào của A/B?
Lần đầu tiên một khách hàng vào journey tới khối thử nghiệm A/B, khách hàng sẽ được phân bổ ngẫu nhiên vào 1 trong số các nhánh của A/B.
Các lần vào sau của khách hàng đó, hệ thống sẽ phân bổ khách hàng vào đúng nhánh mà họ đã vào lần đầu tiên.
2. Có thể thêm nhiều loại tương tác hoặc rẽ nhiều nhánh trong một nhánh của thử nghiệm A/B không?
Có thể thêm nhiều loại tương tác hoặc rẽ nhánh khách hàng dựa trên điều kiện phát sinh event trong một nhánh của thử nghiệm A/B. Nếu trong một nhánh của thử nghiệm A/B có nhiều nhánh con, kết quả của nhánh cha là tổng hợp kết quả của các nhánh con.
3. Các chỉ số thống kê được cập nhật trong vòng bao lâu?
Các chỉ số thống kê của Journey và của thử nghiệm A/B được cập nhật từ khi journey bắt đầu đến khi journey kết thúc + 7 ngày
4. Một khách hàng có thể được phát 1 voucher từ nhiều journey, vậy nếu khách hàng đó phát sinh giao dịch dùng mã, thì sẽ ghi nhận cho journey nào?
Một khách hàng phát sinh giao dịch dùng mã chỉ được ghi nhận chuyển đổi cho duy nhất 1 journey và 1 nhánh của thử nghiệm A/B dù khách hàng đó cho được vào nhiều journey. Hệ thống sẽ ghi nhận chuyển đổi cho jouney mà khách hàng đó được gán mã lần cuối cùng.
Ví dụ: Khách hàng có sđt 0912345678 được phát mã UATPMMWML lần lượt ở 2 journey có journey id 267 và journey id 269. Khách hàng sau đó phát sinh giao dịch dùng mã UATPMMWML chỉ được ghi nhận chuyển đổi cho journey 269 (vì là journey gần nhất khách được gán mã đó).
5. Làm thế nào để biết được nhánh nào của thử nghiệm A/B là nhánh winner?
Tính năng rẽ nhánh thử nghiệm A/B trên Journey Builder đã cung cấp các thông kê về số profile tương tác thành công, số profile có chuyển đổi và conversion rate. Để kết luận được nhánh nào là nhánh winner phụ thuộc vào việc kiểm tra xem kết quả của thử nghiệm có "statistically significant" hay không.
Người dùng có thể tự kiểm tra bằng các tính toán "one-sided" hoặc "two-sided" hypothesis với confidence level phù hợp như 90%, 95% hoặc 99%. Hiện nay các công cụ statistical significance calculator đều có sẵn trực tuyến miễn phí, ví dụ như đây.
Việc tự động lựa chọn nhánh winner của thử nghiệm A/B sẽ được cân nhắc cung cấp ở phase sau của tính năng.
Last updated
