A/B 测试

大约 6 分钟

1.什么是A/B 测试

A/B 测试是在应用稳定变现期，寻求增量空间的重要手段。A/B 测试可将受众用户按照比例，随机的分成对照组与实验组，多组用户进行逻辑切分，分别配置独立的策略，通过数据看板进行对照组与实验组的测试数据后，可基于数据表现做出决策，全量切换至对照组或实验组，从而来提升整体的变现效果。

简单来说，A/B测试就是将用户分成不同的组，同时测试不同的方案，通过用户反馈的真实数据来找出哪一个方案更好的过程。

A/B测试（瀑布流）：该测试用于对比不同瀑布流效果。在同一广告位、同一流量分组下（若没有创建流量分组，则在默认分组下），配置A/B测试组，设置不同瀑布流，通过对比两组收益差异，确定更优的瀑布流配置方案。

A/B测试（流量分组）：该测试用于对比使用不同流量分组的效果。在同一广告位下，创建不同A/B测试组，每个A/B测试组中设置不同流量分组以及瀑布流，可对比有/无流量分组或不同流量分组之间效果，确定更优的流量分组配置方案。

为避免测试结果难以区分问题，现不支持同一广告位下，两种A/B测试方式共存，如需测试不同流量分组之间的A/B测试，需确保默认分组/其他分组下无开启中的A/B测试（瀑布流）。
1. 即一个广告位下只能存在一个正在运行的A/B测试（流量分组）
2. 一个广告位同一流量分组中，只能存在一个正在运行的A/B测试（瀑布流）
  1. 同一广告位下，可以在每个流量分组中存在一个正在运行的A/B测试（瀑布流）
开启A/B测试后,若瀑布流中没有设置任何广告源时，会下发空的瀑布流。
开启AB测试后，当设备首次获取到A组的瀑布流，在整个AB测试期间除修改流量分配比例外，只会获取A组瀑布流配置。修改流量分配比例后所有用户将重新随机分配AB组。
开启A/B测试后，瀑布流的数据会消失，瀑布流仅可见开启A/B测试后产生的数据，若想看历史瀑布流历史数据，可在关闭A/B测试后查看。