你将会学到 #
了解如何判断 A/B 测试是否具有静态显着性。例如，如果营销活动变体 A 的打开率为 15%，变体 B 的打开率为 14%，您如何确定变体 A 或 B 的效果是否更好？ ## 关于 Apple Mail 隐私保护的注意事项
随着 iOS15、macOS Monterey、iPadOS 15 和 WatchOS 8 的发布，Apple Mail 隐私保护 (MPP) 通过预取跟踪像素改变了我们接收电子邮件打开率数据的方式。随着这一变化，重要的是要了解开放率将会上涨。关于 A/B 测试，我们预计我们的工具应该考虑到这些虚高的打开率；但是，您可能需要更高的阈值才能达到统计显着性。如果您定期进行 A/B 测试并且 Apple Mail 上的打开率超过 45%，我们建议您创建一份包含 MPP 属性的自定义报告。您还可以在您的个人订阅者细分中识别这些开放。有关 MPP 打开的完整信息，请访问我们的 iOS 15：如何准备 Apple 的更改 指南。 ## 具有统计意义的类别
统计显着性是指 Klaviyo 在数学上能够确定某种变化是否会提高性能。对于活动，Klaviyo 会观察收到消息的人数和获胜概率，即基于某个变体优于其他变体的程度，该变体产生更好结果的可能性。 A/B 测试时，您应该避免任何可能显着影响您的受众的因素；例如，不要在假期周末附近重新测试，因为此时您的受众更有可能寻找您的电子邮件。对于 A/B 测试活动，统计显着性分为四类：
- 具有统计显着性
- 有前途
- 没有统计学意义
- 尚无定论
在接下来的几节中，我们将讨论测试何时属于这些类别。没有时间阅读？查看本文底部的决策树。 ## 具有统计显着性
A/B 测试上的统计显着性标签意味着您的测试的某个变体很可能胜过其他选项。它还表明您将能够重现结果，并将您学到的知识应用到未来的发送中。 !具有统计显着性的AB测试结果.jpg
对于 Klaviyo 营销活动，A/B 测试结果在以下情况下被视为具有统计显着性：
- 每个版本都有 50 人收到。 – 获胜概率至少为 90%。这确保了足够大的接收者样本量已经进行了 A/B 测试，并且对于所选的获胜指标（对于营销活动来说，是打开率、点击率或下单率），获胜变体在很大程度上优于其他变体。例如，假设您正在测试主题行中的表情符号是否会影响打开率。测试结果显示，获胜的变体是带有表情符号的变体，并且有一个绿色的统计显着性标签。在这种情况下，您可以确信带有表情符号的主题行将始终比不带表情符号的主题行表现得更好：并且无需重新测试。但是，在根据测试结果采取行动时，您应该始终使用最佳判断。例如，如果您要发送更严肃或忧郁的消息，则可能不适合使用表情符号。 ## 有前途
当结果令人鼓舞时，一种变体看起来比其他变体表现更好，但测试本身的证据不够有力。如果测试被认为是有希望的，则不会出现任何标签来表明这一点；但是，您将看到一条警报，指示您应该重新运行测试。 !有希望的AB测试结果.jpg
为了获得有希望的测试结果，您应该执行另一次 A/B 测试，以便获得更大的确定性。例如，回到上面的表情符号示例，如果结果有希望，请再次执行此测试。 如果在几次 A/B 测试后您仍然看到有利于表情符号的有希望的结果，您可以相信表情符号对您的受众有轻微但积极的影响，并且您应该继续在活动中使用它们。对于营销活动，A/B 测试结果在以下情况下被认为是有希望的：
- 每个版本都有 50 人收到。 – 获胜概率在 75% 到 89% 之间。 ## 没有统计显着性
如果某件事在统计上不显着，则测试中的一个变体仅比其他变体稍胜一筹，并且您可能无法在进一步的测试中复制该结果。对于我们的示例，这可能意味着带有表情符号的变体击败了无表情符号的变体，但幅度非常小；不足以使测试结果有意义。在这种情况下，我们建议再重新测试该因素 2 到 3 次，并密切关注结果。如果您仍然发现测试结果被认为不具有统计显着性，则不要继续测试；相反，继续对不同的主题进行 A/B 测试。如果测试属于此类别，A/B 测试结果页面上将出现一个灰色标签，显示“不具有统计显着性”。 !无统计学意义的AB测试结果.jpg
对于营销活动，在以下情况下，A/B 测试结果被视为不具有统计显着性：
- 概率低于 75%，并且至少 1,800 人收到每种变体。或者
- 每个变体收到的人数少于 1,800，领先变体与第二名变体之间的百分比差异为 4% 或更少，获胜概率小于 60%。 ## 不确定
如果测试没有结论，则意味着没有足够的信息来确定某些内容是否具有统计显着性。如果测试结果不符合上述选项的任何标准，它将属于不确定的范围。您可以使用下一节中显示的决策树来可视化这一点。请注意，非结论性测试不会在结果页面上显示指示测试是否具有统计显着性的标签。 !不确定的AB测试结果.jpg
在这种情况下，您可能希望扩大您的受众以进行任何后续测试。如果您正在测试一个小组，请根据您认为合适的方式解释结果并重新测试以检查您发现的结果是否准确。此外，重点通过其他方式了解您的订阅者；例如，调查、民意调查等。 ## 统计显着性决策树
下面的决策树显示了 A/B 测试何时属于每个类别。绿线表示答案是“是”，而红线表示答案是“否”。
