定量测试需要多少人参与?
作者 Runwise.co · 发布 2020-12-08 · 未复核 · 阅读 4 分钟
本页目录
问题
你需要多少位实验对象以确保实验结果有效?
通过定量实验,我们可以基于用户行为的数据,对产品或营销方案进行迭代。但是,根据我们的调查显示,大多数的定量实验在执行过程都存在误区。其中很常见的一个误区,就是实验的样本数太小,不足以支撑实验结果的可信度。
解决方案
通过测试样本数量计算器,确定实验样本数量
1 明确实验对象数量的最小值
你需要实验对象人数设置一个下限。如果人数未能达到该下限,你将无法从实验中获得任何结果。这是进行数据统计的前提条件。比如,假设你的目标受众是10,000人,你寻找其中的10个人进行了实验。所有10个人都喜欢你的想法,并立即注册。你有信心其他9990会做到吗?
这时候,你需要扩大实验的范围,寻找更多的实验对象进行验证。但是,你还需要找多少人进行实验,才有信心说明实验结果是可信的呢?
在这里,我们先将实验类型分成两大类,一类是实验对象数量较少(比如 1-100 人以内),称之为“低数量实验”;一类是实验对象数量更多(比如大于 100 人),称之为“高数量实验”。 第一类实验通过是定性实验,第二类则为定量。
1.1 低数量定性实验
例如,在问题和市场匹配阶段,你通常会寻求朋友和家人进行想法的验证。这时候,你会倾向于通过自己的人脉向人们问一些开放式的问题。通常情况下,通过一个团队,你可以通过这种方式接触到大约 50-100 人。
1.2 低数量定量实验
另一种情况是“出口民调”(Exit Poll)实验,也是发生在问题和市场匹配阶段。你会前往目标受众成员经常光顾的地方,并要求他们注册电子邮件列表。通常,在一个团队中,你可以在几天的踩点处以这种方式与大约 50-100 人接触。
1.3 高数量定性实验
通过线上调研问卷,或者在问答平台比如知乎上进行定性实验。你应该能够触达 100-1000 位实验对象。
1.4 高数量定量实验
一个示例是受访网页实验或候补名单广告系列,通过广告你可以吸引成千上万的人。无需进行统计,就有一些方法可以计算这些数字。
2. 计算测试样本数量
我们需要在实验信号强度和结果的重要性之间找到一个平衡点。幸运的是,现在可以通过在线的样本数量计算器帮助我们快速计算出所需样本数量。云眼提供的在线计算器可以用于计算所需的数字。
2.1 填写原始版本转化率
输入被实验网页目前的转化率,原始版本的转化率,作为比较基准。
2.2 填写优化版本转化率
输入被实验网页在添加其他实验元素后(比如文案和视觉呈现进行了修改)的转化率。
2.3 填写统计显著性
“显著性检验”实际上是英文significance test的汉语译名。在统计学中,显著性检验是“统计假设检验”(Statistical hypothesis testing)的一种,显著性检验是用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法。统计显著性数值所代表的含义。
≥95%:优化版本和原始版本之间有显著的统计差异,转化率的“改进”是可信的
90%~95%:优化版本和原始版本之间的统计差异存有疑问,转化率的“改进”是存有疑问的
<90%:优化版本和原始版本之间没有显著的统计差异,转化率的“改进”是不可信的
因此,如果想要让实验结果更可信,建议统计显著性选择在 95%-100% 的范围内。
2.4 计算。
计算器会直接计算出每个版本需要的样本数量。
3. 计算器的适用范围
上面的计算器也可以用于其他实验,无论是定性还是定量的。你可以按着陆页实验中的基准使用它,也可以将其用作 A/B 测试,并比较两个不同目标受众的实验结果。
关键成效
确保实验结果的有效性
通过更严谨的实验对象数量计算,可以让我们的实验结论更加具备可信度,并依据验证结果对产品和营销方案进行迭代。
参考文章:
1. 云眼计算器:使用帮助
2. 百度百科:显著性差异
职场加油站
想更深入精益实验的步骤和类型,体系化降低产品创新风险,为你推荐《精益实验设计 》课程。
照着做
想用在自己的问题上?
用这个问题开始 →接着读
AI 入口按约 12% 收渠道费,接不接先算这笔订单是不是增量。
中国制造企业出海中东怎么做?直营、经销商、本地伙伴还是自建团队
进入中东没有唯一模式,先按客户集中度、服务和合规排除,再选。
需求不振的2026为什么B2B企业方案业务拥抱采用PLG增长模式
先验证首次价值,再决定是否改获客模式。