入门指南 | 定量测试需要多少人参与？
文章目录
- 问题
你需要多少位实验对象以确保实验结果有效？
- 通过定量实验，我们可以基于用户行为的数据，对产品或营销方案进行迭代。但是，根据我们的调查显示，大多数的定量实验在执行过程都存在误区。其中很常见的一个误区，就是实验的样本数太小，不足以支撑实验结果的可信度。
- 解决方案
通过测试样本数量计算器，确定实验样本数量
1 明确实验对象数量的最小值
- 你需要实验对象人数设置一个下限。如果人数未能达到该下限，你将无法从实验中获得任何结果。这是进行数据统计的前提条件。比如，假设你的目标受众是10,000人，你寻找其中的10个人进行了实验。所有10个人都喜欢您的想法，并立即注册。你有信心其他9990会做到吗？
- 这时候，你需要扩大实验的范围，寻找更多的实验对象进行验证。但是，你还需要找多少人进行实验，才有信心说明实验结果是可信的呢？
1.1 低数量定性实验
- 例如，在问题和市场匹配阶段，你通常会寻求朋友和家人进行想法的验证。这时候，你会倾向于通过自己的人脉向人们问一些开放式的问题。通常情况下，通过一个团队，你可以通过这种方式接触到大约 50-100 人。
1.2 低数量定量实验
- 另一种情况是“出口民调”（Exit Poll）实验，也是发生在问题和市场匹配阶段。你会前往目标受众成员经常光顾的地方，并要求他们注册电子邮件列表。通常，在一个团队中，你可以在几天的踩点处以这种方式与大约 50-100 人接触。
1.3 高数量定性实验
- 通过线上调研问卷，或者在问答平台比如知乎上进行定性实验。你应该能够触达 100-1000 位实验对象。
1.4 高数量定量实验
- 一个示例是受访网页实验或候补名单广告系列，通过广告您可以吸引成千上万的人。无需进行统计，就有一些方法可以计算这些数字。
2. 计算测试样本数量
2.1 填写原始版本转化率
- 输入被实验网页目前的转化率，原始版本的转化率，作为比较基准。
2.2 填写优化版本转化率
- 输入被实验网页在添加其他实验元素后（比如文案和视觉呈现进行了修改）的转化率。
2.3 填写统计显著性
- “显著性检验”实际上是英文significance test的汉语译名。在统计学中，显著性检验是“统计假设检验”（Statistical hypothesis testing）的一种，显著性检验是用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法。统计显著性数值所代表的含义：
- ≥95%：优化版本和原始版本之间有显著的统计差异，转化率的“改进”是可信的
- 90%~95%：优化版本和原始版本之间的统计差异存有疑问，转化率的“改进”是存有疑问的
- <90%：优化版本和原始版本之间没有显著的统计差异，转化率的“改进”是不可信的
- 因此，如果想要让实验结果更可信，建议统计显著性选择在 95%-100% 的范围内。
2.4 计算！
- 计算器会直接计算出每个版本需要的样本数量。
3. 计算器的适用范围
- 上面的计算器也可以用于其他实验，无论是定性还是定量的。您可以按着陆页实验中的基准使用它，也可以将其用作 A/B 测试，并比较两个不同目标受众的实验结果。
- 关键成效
确保实验结果的有效性
通过更严谨的实验对象数量计算，可以让我们的实验结论更加具备可信度，并依据验证结果对产品和营销方案进行迭代。
职场加油站
- 想更深入精益实验的步骤和类型，体系化降低产品创新风险，为你推荐《精益实验设计 》课程。
继续阅读本文相关话题
Runwise 创研院
Runwise创新咨询旗下的专业创新智库机构。秉承Runwise.co创新社区“共享、共进、共创”的价值理念，与全球领先创新智库和创新专家紧密协作，拥有最严谨的研究员团队以及生成式AI驱动的创新知识库。为Runwise各机构和开放创新社区策划、设计和输出最新的创新趋势、前沿的创新方法、专业的创新实践以及深度的创新案例。
查看作者主页
0 thoughts on “入门指南 | 定量测试需要多少人参与？”
实验样本的确非常重要，需要确保数量足够支持实验结果的可信度
人数一定要达到一定程度才可以确保实验有效性，否则结果都没有参考价值。