A/B测试
大约 5 分钟
A/B测试
1. 什么是A/B 测试
A/B 测试是在应用稳定变现期，寻求增量空间的重要手段。A/B 测试可将受众用户按照比例，随机的分成对照组与实验组，多组用户进行逻辑切分，分别配置独立的策略，通过数据看板进行对照组与实验组的测试数据后，可基于数据表现做出决策，全量切换至对照组或实验组，从而来提升整体的变现效果。
简单来说，A/B测试就是将用户分成不同的组，同时测试不同的方案，通过用户反馈的真实数据来找出哪一个方案更好的过程。
2. A/B测试可分为两种方式
A/B测试（瀑布流）：该测试用于对比不同瀑布流效果。 在同一广告位、同一流量分组下（若没有创建流量分组，则在默认分组下），配置A/B测试组，设置不同瀑布流，通过对比两组收益差异，确定更优的瀑布流配置方案。
A/B测试（流量分组）：该测试用于对比使用不同流量分组的效果。在同一广告位下，创建不同A/B测试组，每个A/B测试组中设置不同流量分组以及瀑布流，可对比有/无流量分组或不同流量分组之间效果，确定更优的流量分组配置方案。
3. 注意事项
- 为避免测试结果难以区分问题，现不支持同一广告位下，两种A/B测试方式共存，如需测试不同流量分组之间的A/B测试，需确保默认分组/其他分组下无开启中的A/B测试（瀑布流）。
- 即一个广告位下只能存在一个正在运行的A/B测试（流量分组）
- 一个广告位同一流量分组中，只能存在一个正在运行的A/B测试（瀑布流）
- 同一广告位下，可以在每个流量分组中存在一个正在运行的A/B测试（瀑布流）
- 开启A/B测试后,若瀑布流中没有设置任何广告源时，会下发空的瀑布流。
- 开启AB测试后，当设备首次获取到A组的瀑布流，在整个AB测试期间除修改流量分配比例外，只会获取A组瀑布流配置。修改流量分配比例后所有用户将重新随机分配AB组。
- 开启A/B测试后，瀑布流的数据会消失，瀑布流仅可见开启A/B测试后产生的数据，若想看历史瀑布流历史数据，可在关闭A/B测试后查看。
举例说明：
| 时间顺序 | 瀑布流披露数据 |
|---|---|
| 5月15日 12:30查看瀑布流数据 | 选择时间段为5月15日，披露00:00~12:30的全部数据 |
| 5月15日 12:40创建A/B Test | 选择时间段为5月15日，查看A组数据，披露00:00~12:40的全部数据 |
| 5月15日 13:00开启A/B Test | 因为刚刚开启A/B Test，生成新的试验ID，所以选择任意时间段，报表披露数据全部为空 |
| 5月15日 16:00查看瀑布流数据 | - 选择时间段为5月15日，披露13:00~16:00期间 A组或B组分别产生的数据 - 选择时间段为5月15日以前，披露数据为空，因为当前的试验ID，在15日13点以前无任何数据产生 |
| 5月15日 17:30进行A/B Test的结束操作，全量使用A组配置 | - 选择时间段为5月15日，披露13:00~17:30，A组试验数据 - 选择时间段为5月15日以前，披露数据为空，因为当前全量使用A组试验数据的试验ID，在5月15日以前没有产生数据 |
| 5月16日 17:30 查看瀑布流数据 | - 选择时间段为5月15日，披露13:00~24:00，A组试验数据 - 选择时间段为5月16日，披露00:00~17:30的全部数据 |
4. AB测试使用流程
4.1 创建A/B测试
在聚合管理中，点击页面右上角的【创建A/B测试】，选择AB测试类型，填写测试名称、流量分配比例。
创建时为提高配置效率，支持【复制A组广告源至B组】，同时可以选择【仅复制开启的广告源】
4.2 开启A/B测试
配置好瀑布流后，点击右上角的【开启A/B测试】即可开启A/B测试，开启后将按照流量占比分配流量。
注：当瀑布流中没有配置任何广告时，平台会下发空的瀑布流。
4.3 查看A/B测试数据
AB测试数据共分为两部分：
- AB组数据对比概览、AB测试数据图表
- 可选择不同流量分配比例查看AB组的数据对比情况
4.4 调整流量分配比例
- 【修改流量分配比例】即时生效；
- 调整流量比例后，测试数据会新增【流量分配比例2】数据，原数据在【流量分配比例1】中。因此，为了积累足够多的测试数据，不建议频繁调整流量分配比例。若需测试新的分配比例，建议关闭当前A/B测试，重建新的A/B测试。
4.5 结束A/B测试
AB测试运行一段时间后，可选择采用A组或B组来结束AB测试
注意：
- 确定结束后，将采用最终选择的组作为最终的瀑布流配置，其他组的数据可在历史AB测试中查看
- 如需测试新的瀑布流，建议结束本次配置后重开一个新的AB测试，测试过程中不建议修改瀑布流。
4.6 查看历史A/B测试
测试结束后，可点击【查看历史A/B测试】查看所有A/B测试类型的记录，具体可查看以下两类数据：
- 历史配置：在【A/B测试配置】点击【配置详情】查看；
- 数据结果：在【测试结果】点击【详情】查看。