一、为什么空白不能直接当作0
整理公开数据时,有些单元格可能为空,或者显示“未记录”。这说明当前没有可用数值,并不等于已经确认数值为0。
例如某个计数指标明确记录为0,可以表示实际观察到零次;若记录根本没有取得,就不能作出同样判断。把缺失值填成0,会同时改变数值总和、平均值以及分类比例。
下面以一份完全假设的教学表为例。它不是实际历史期次、开奖结果或业务报表。
| 样本编号 | 记录值 | 是否可用于该指标计算 |
|---|---|---|
| A | 0 | 可以,是真实零值 |
| B | 2 | 可以 |
| C | 未记录 | 不可以,需保留缺失标记 |
| D | 4 | 可以 |
| E | 4 | 可以 |
| F | 未记录 | 不可以,需保留缺失标记 |
二、总样本数和有效样本数分别是多少
这份表共有6条应观察记录,其中4条有可用数值,2条缺失。因此,总样本数N=6,有效样本数n=4,缺失数m=2。
缺失率是m÷N,即2÷6≈33.3%;有效记录率是n÷N,即4÷6≈66.7%。两者使用同一个总记录数作分母,合计为100%,显示值可能因四舍五入有微小差异。
| 指标 | 计算 | 结果 |
|---|---|---|
| 缺失率 | 2÷6 | 约33.3% |
| 有效记录率 | 4÷6 | 约66.7% |
| 有效记录中的平均值 | (0+2+4+4)÷4 | 2.5 |
| 错把缺失补0后的平均值 | (0+2+0+4+4+0)÷6 | 约1.67 |
最后一行用于展示错误处理的影响,不是推荐算法。2.5描述已观测记录的平均水平,也不能自动代表全部6条记录的真实平均值。
三、计算比例时要把问题写清楚
若研究“记录值至少为4”,已观测记录中有2条满足条件。有效样本比例是2÷4=50%,意思是:有记录的4条中,一半达到这个条件。
若直接计算2÷6≈33.3%,只能解释为全部6条中“已知满足条件”的占比,不能称为全部记录真实达标率,因为两条缺失记录的状态未知。
假设每条缺失记录最终只能归为满足或不满足条件,则全体比例最低为2÷6,最高为(2+2)÷6,即约33.3%至66.7%。这是信息不完整下的可能范围,不是置信区间,也没有给各取值分配概率。
四、为什么不同字段的有效分母可能不同
一条记录可能只有部分字段缺失。例如数值字段可用,但日期字段为空。此时计算数值平均值与按日期比较变化,可能需要不同的有效样本集合。
如果研究两个字段的关系,通常需要两者均可用的配对记录,不能分别取两个字段各自的有效数量后,假装它们是一组完整对应样本。
因此,报告中应说明统计对象、应有记录数、有效记录数和排除原因。缺失日期也不宜凭附近日期猜测补齐。
五、排除缺失不等于消除了偏差
忽略缺失记录虽然能完成计算,但未必能得到有代表性的结果。如果恰好较大数值更容易漏记,剩余数据的平均值可能偏低;反过来也可能偏高。
在不知道缺失原因时,应保留局限性说明,不承诺排除后结果就是全体真实水平。对公开历史资料,应优先核对原始来源和更正记录,不用“走势看起来合理”作为补数依据。
常见问题
Q:表中0也应该排除吗?
只有来源明确规定0代表缺失时才按缺失处理。真实观察到的0应保留,并计入有效样本。
Q:缺失率用总记录数还是有效记录数作分母?
通常用应观察的总记录数。缺失数除以有效数描述的是另一个比值,应另行命名。
Q:缺失率低就一定没有偏差吗?
不一定。影响还取决于缺失机制、缺失对象及研究的问题,不能只看一个百分比。
Q:可以用前一次数值填补吗?
不能默认这样处理。任何填补都需要理由、适用条件和明确标记,也不能把填补值标成真实观测值。
资料说明与相关阅读
本文全部数值均为教学设定。缺失标记与有效观测的区分可参考pandas官方缺失数据说明。这里讨论通用统计口径,不要求读者使用任何软件。
免责声明: 本文仅供公开数据整理和统计知识学习,不构成任何投注、收益或未来结果预测建议。
继续阅读相关栏目
本平台内容仅用于公开数据整理、统计学习、趋势观察和图表阅读,不构成任何形式的建议。