统计显着性在提高转化率中的作用：您需要了解的 6 件事
Posted: Mon Jan 06, 2025 3:32 am
统计显着性在提高转化率中的作用：您需要了解的 6 件事
最近，Vladimir Davydov 在 Facebook 上写了一篇关于 A/B 或 MVT 测试的帖子，引发了很多问题。
通常，在网站上进行 A/B 或 MVT 测试是一件非常困 日本whatsapp号码数据库 难的事情。虽然在“登陆者”看来这很初级，因为“都是一样的，还有专门的程序啊”。
如果您决定测试网页内容，请记住：
1. 首先你需要隔离出平等、平等、平等的受众。进行 A/A 测试。在线机构或缺乏经验的互联网营销人员进行的绝大多数测试都是不正确的。正是因为内容要针对不同的受众进行测试。
2. 在几个月内进行数十次甚至数百次测试。一周内测试一个页面的 2-3 个版本是不值得的。
3. 请记住，您还可以以 MVT 格式（即很多选项）进行测试，而不仅仅是 A 和 B。
4.用测试结果对数据数组进行统计分析（Excel绝对没问题，也可以使用SPSS）。结果是否在误差范围内，偏差有多大，以及它们如何依赖于时间？例如，如果在 A/A 测试的第一点中，您收到一个选项与另一个选项的强烈偏差，则这是一个失败，您无法进一步测试。
5. 无需测试所有内容。这不是娱乐（除非你真的没有别的事可做）。仅测试从营销和业务分析的角度来看可以带来显着结果的内容是有意义的。还有一些可以实际衡量结果的东西。例如，您决定增加网站上的字体大小，用较大字体测试页面几周 - 销售额增加。这意味着什么？所以我什么都不关心（见前面的段落）。
6. 需要测试整个路径。也就是说，仅采取并测试购买页面（或网站上的某些操作）是不够的 - 您需要测试导致最终转换页面的那些页面和步骤。
7.您还需要测试广告渠道（而不仅仅是网站上的页面）。
评论中提出了这个问题：
“如何确定胜负？这里我们在一个直接销售的页面上测试了标题。 A 和 B 之间的转换必须有什么差异才能宣布获胜者？
弗拉基米尔的回答：
首先，你需要进行长期的孤立实验（任何统计评估的基本规则）。其次，一切都不可避免地归结为统计学和数学（这就是为什么我推荐 excel 和 spss 或免费类似物）我们需要计算值差异有意义的置信概率。有一篇好文章（其中一篇）。在那里，他们根据 Optimizely 测试
统计显着性在提高转化率中的作用：您需要了解的 6 件事
298-1.jpg
统计显着性的全部意义在于确定两个度量之间的差异是否有一定基础还是偶然造成的。在这篇文章中，我将尝试强调您需要了解的六件事，以准确确定转化率 A/B 测试以及更广泛的数据分析的统计显着性。
1. 确切的意思
298-2.jpg
“这一变化使我们的转化率提高了 20%，置信度高达 90%。”不幸的是，这句话与另一句话完全不同：“将转化率提高 20% 的机会是 90%。”那么它到底是关于什么的呢？
20% 是我们根据其中一个样品的测试结果记录的增长。如果我们开始幻想和推测，我们可能会想象，如果我们无限期地继续测试，这种增长可能会永久持续下去。但这并不意味着我们有 90% 的概率将转化率提高 20%，或者“至少”提高 20%，或“大约”20%。
90% 是转化发生任何变化的概率。换句话说，如果我们要运行十个 A/B 测试来获得这个结果，并且我们决定无限地运行所有十个测试，那么其中一个（因为更改的概率为 90%，那么 10% 保持不变）结果）可能最终会使“测试后”结果更接近原始转换 - 即没有变化。在其余 9 项测试中，有些测试显示增幅远低于 20%。在其他情况下，结果可能会超过这个标准。
如果我们误解了这些数据，我们就会冒着“推出”测试的巨大风险。当测试显示置信度为 95% 的高转化率时，人们很容易感到兴奋，但明智的做法是在测试得出合乎逻辑的结论之前不要抱有太大期望。
2. 何时使用
最明显的候选者是 A/B 对比测试，但它们远不是唯一的。您还可以测试细分（例如，自然搜索与付费搜索的访问次数）或时间段（例如，2013 年 4 月和 2014 年 4 月）之间的统计显着差异。
298-3.jpg
但值得注意的是，这种相关性并不意味着因果关系。当我们运行拆分测试时，我们知道我们可以将结果中的任何更改归因于使页面不同的元素 - 我们特别注意确保页面在其他方面完全相同。如果您要比较来自有机搜索和付费搜索的访问者等群体，则任何其他因素都可能发挥作用 - 例如，来自有机搜索的夜间访问量可能很大，并且过夜访问者的转化率相当高。显着性检验有助于确定变化是否有原因，但无法判断原因是什么。
3. 如何测试转化率、跳出率和退出率的变化
当我们查看“指标”时，我们实际上是在查看二元变量的平均值——有人要么完成了目标行动，要么没有完成。如果我们有 10 个人的样本，转化率为 40%，我们实际上会看到这样的表格：
298-4.jpg
我们需要这张表以及平均值来计算标准差，这是统计显着性的关键组成部分。然而，表中的每个值要么是零，要么是一，这一事实让我们变得更容易 - 我们可以通过使用 A/B 测试置信计算器并从了解平均值开始，避免复制大量数字列表和尺寸样品。这是KissMetrics的一个工具。
298-5.jpg
（重要！该工具在计算时仅考虑概率分布的一侧。要使用两侧并将结果转换为两侧显着性，您需要将距离 100% 的距离加倍 - 例如，单侧 95 %变为双面90%）。
尽管描述中写着“A/B 测试有效性工具”，但它也可用于任何其他指标比较 - 只需用跳出率或退出率替换转化即可。此外，它还可用于比较片段或时间段 - 计算将是相同的。
它也非常适合多变量测试 (MVT) - 只需将每个更改单独与原始更改进行比较即可。
4. 如何测试平均账单的变化
为了测试非二元变量的均值，我们需要完整的数据集，所以这里的事情变得有点复杂。例如，我们想要确定A/B对比测试的平均订单价值是否存在显着差异——这一点在转化优化中经常被忽略，尽管对于业务指标来说它与转化本身一样重要。
我们需要的第一件事是从 Google Analytics 获取 A 和 B（过去、现在）每个测试选项的完整交易列表。最简单的方法是根据拆分测试的自定义变量创建自定义细分，然后将交易报告导出到 Excel 电子表格。确保所有事务都包含在那里，而不仅仅是默认的 10 行。
最近，Vladimir Davydov 在 Facebook 上写了一篇关于 A/B 或 MVT 测试的帖子，引发了很多问题。
通常，在网站上进行 A/B 或 MVT 测试是一件非常困 日本whatsapp号码数据库 难的事情。虽然在“登陆者”看来这很初级，因为“都是一样的，还有专门的程序啊”。
如果您决定测试网页内容，请记住：
1. 首先你需要隔离出平等、平等、平等的受众。进行 A/A 测试。在线机构或缺乏经验的互联网营销人员进行的绝大多数测试都是不正确的。正是因为内容要针对不同的受众进行测试。
2. 在几个月内进行数十次甚至数百次测试。一周内测试一个页面的 2-3 个版本是不值得的。
3. 请记住，您还可以以 MVT 格式（即很多选项）进行测试，而不仅仅是 A 和 B。
4.用测试结果对数据数组进行统计分析（Excel绝对没问题，也可以使用SPSS）。结果是否在误差范围内，偏差有多大，以及它们如何依赖于时间？例如，如果在 A/A 测试的第一点中，您收到一个选项与另一个选项的强烈偏差，则这是一个失败，您无法进一步测试。
5. 无需测试所有内容。这不是娱乐（除非你真的没有别的事可做）。仅测试从营销和业务分析的角度来看可以带来显着结果的内容是有意义的。还有一些可以实际衡量结果的东西。例如，您决定增加网站上的字体大小，用较大字体测试页面几周 - 销售额增加。这意味着什么？所以我什么都不关心（见前面的段落）。
6. 需要测试整个路径。也就是说，仅采取并测试购买页面（或网站上的某些操作）是不够的 - 您需要测试导致最终转换页面的那些页面和步骤。
7.您还需要测试广告渠道（而不仅仅是网站上的页面）。
评论中提出了这个问题：
“如何确定胜负？这里我们在一个直接销售的页面上测试了标题。 A 和 B 之间的转换必须有什么差异才能宣布获胜者？
弗拉基米尔的回答：
首先，你需要进行长期的孤立实验（任何统计评估的基本规则）。其次，一切都不可避免地归结为统计学和数学（这就是为什么我推荐 excel 和 spss 或免费类似物）我们需要计算值差异有意义的置信概率。有一篇好文章（其中一篇）。在那里，他们根据 Optimizely 测试
统计显着性在提高转化率中的作用：您需要了解的 6 件事
298-1.jpg
统计显着性的全部意义在于确定两个度量之间的差异是否有一定基础还是偶然造成的。在这篇文章中，我将尝试强调您需要了解的六件事，以准确确定转化率 A/B 测试以及更广泛的数据分析的统计显着性。
1. 确切的意思
298-2.jpg
“这一变化使我们的转化率提高了 20%，置信度高达 90%。”不幸的是，这句话与另一句话完全不同：“将转化率提高 20% 的机会是 90%。”那么它到底是关于什么的呢？
20% 是我们根据其中一个样品的测试结果记录的增长。如果我们开始幻想和推测，我们可能会想象，如果我们无限期地继续测试，这种增长可能会永久持续下去。但这并不意味着我们有 90% 的概率将转化率提高 20%，或者“至少”提高 20%，或“大约”20%。
90% 是转化发生任何变化的概率。换句话说，如果我们要运行十个 A/B 测试来获得这个结果，并且我们决定无限地运行所有十个测试，那么其中一个（因为更改的概率为 90%，那么 10% 保持不变）结果）可能最终会使“测试后”结果更接近原始转换 - 即没有变化。在其余 9 项测试中，有些测试显示增幅远低于 20%。在其他情况下，结果可能会超过这个标准。
如果我们误解了这些数据，我们就会冒着“推出”测试的巨大风险。当测试显示置信度为 95% 的高转化率时，人们很容易感到兴奋，但明智的做法是在测试得出合乎逻辑的结论之前不要抱有太大期望。
2. 何时使用
最明显的候选者是 A/B 对比测试，但它们远不是唯一的。您还可以测试细分（例如，自然搜索与付费搜索的访问次数）或时间段（例如，2013 年 4 月和 2014 年 4 月）之间的统计显着差异。
298-3.jpg
但值得注意的是，这种相关性并不意味着因果关系。当我们运行拆分测试时，我们知道我们可以将结果中的任何更改归因于使页面不同的元素 - 我们特别注意确保页面在其他方面完全相同。如果您要比较来自有机搜索和付费搜索的访问者等群体，则任何其他因素都可能发挥作用 - 例如，来自有机搜索的夜间访问量可能很大，并且过夜访问者的转化率相当高。显着性检验有助于确定变化是否有原因，但无法判断原因是什么。
3. 如何测试转化率、跳出率和退出率的变化
当我们查看“指标”时，我们实际上是在查看二元变量的平均值——有人要么完成了目标行动，要么没有完成。如果我们有 10 个人的样本，转化率为 40%，我们实际上会看到这样的表格：
298-4.jpg
我们需要这张表以及平均值来计算标准差，这是统计显着性的关键组成部分。然而，表中的每个值要么是零，要么是一，这一事实让我们变得更容易 - 我们可以通过使用 A/B 测试置信计算器并从了解平均值开始，避免复制大量数字列表和尺寸样品。这是KissMetrics的一个工具。
298-5.jpg
（重要！该工具在计算时仅考虑概率分布的一侧。要使用两侧并将结果转换为两侧显着性，您需要将距离 100% 的距离加倍 - 例如，单侧 95 %变为双面90%）。
尽管描述中写着“A/B 测试有效性工具”，但它也可用于任何其他指标比较 - 只需用跳出率或退出率替换转化即可。此外，它还可用于比较片段或时间段 - 计算将是相同的。
它也非常适合多变量测试 (MVT) - 只需将每个更改单独与原始更改进行比较即可。
4. 如何测试平均账单的变化
为了测试非二元变量的均值，我们需要完整的数据集，所以这里的事情变得有点复杂。例如，我们想要确定A/B对比测试的平均订单价值是否存在显着差异——这一点在转化优化中经常被忽略，尽管对于业务指标来说它与转化本身一样重要。
我们需要的第一件事是从 Google Analytics 获取 A 和 B（过去、现在）每个测试选项的完整交易列表。最简单的方法是根据拆分测试的自定义变量创建自定义细分，然后将交易报告导出到 Excel 电子表格。确保所有事务都包含在那里，而不仅仅是默认的 10 行。