缺失数据不是0:有效样本数、缺失率与比例分母怎么算?

数据表中的空白、缺失标记与真实数值0含义不同。本文用可复算的教学样本说明有效样本数、缺失率、已观测比例和总体范围的计算,帮助读者避免把未记录的信息误当成零值。

一、为什么空白不能直接当作0

整理公开数据时,有些单元格可能为空,或者显示“未记录”。这说明当前没有可用数值,并不等于已经确认数值为0。

例如某个计数指标明确记录为0,可以表示实际观察到零次;若记录根本没有取得,就不能作出同样判断。把缺失值填成0,会同时改变数值总和、平均值以及分类比例。

下面以一份完全假设的教学表为例。它不是实际历史期次、开奖结果或业务报表。

样本编号 记录值 是否可用于该指标计算
A 0 可以,是真实零值
B 2 可以
C 未记录 不可以,需保留缺失标记
D 4 可以
E 4 可以
F 未记录 不可以,需保留缺失标记

二、总样本数和有效样本数分别是多少

这份表共有6条应观察记录,其中4条有可用数值,2条缺失。因此,总样本数N=6,有效样本数n=4,缺失数m=2。

缺失率是m÷N,即2÷6≈33.3%;有效记录率是n÷N,即4÷6≈66.7%。两者使用同一个总记录数作分母,合计为100%,显示值可能因四舍五入有微小差异。

指标 计算 结果
缺失率 2÷6 约33.3%
有效记录率 4÷6 约66.7%
有效记录中的平均值 (0+2+4+4)÷4 2.5
错把缺失补0后的平均值 (0+2+0+4+4+0)÷6 约1.67

最后一行用于展示错误处理的影响,不是推荐算法。2.5描述已观测记录的平均水平,也不能自动代表全部6条记录的真实平均值。

三、计算比例时要把问题写清楚

若研究“记录值至少为4”,已观测记录中有2条满足条件。有效样本比例是2÷4=50%,意思是:有记录的4条中,一半达到这个条件。

若直接计算2÷6≈33.3%,只能解释为全部6条中“已知满足条件”的占比,不能称为全部记录真实达标率,因为两条缺失记录的状态未知。

假设每条缺失记录最终只能归为满足或不满足条件,则全体比例最低为2÷6,最高为(2+2)÷6,即约33.3%至66.7%。这是信息不完整下的可能范围,不是置信区间,也没有给各取值分配概率。

四、为什么不同字段的有效分母可能不同

一条记录可能只有部分字段缺失。例如数值字段可用,但日期字段为空。此时计算数值平均值与按日期比较变化,可能需要不同的有效样本集合。

如果研究两个字段的关系,通常需要两者均可用的配对记录,不能分别取两个字段各自的有效数量后,假装它们是一组完整对应样本。

因此,报告中应说明统计对象、应有记录数、有效记录数和排除原因。缺失日期也不宜凭附近日期猜测补齐。

五、排除缺失不等于消除了偏差

忽略缺失记录虽然能完成计算,但未必能得到有代表性的结果。如果恰好较大数值更容易漏记,剩余数据的平均值可能偏低;反过来也可能偏高。

在不知道缺失原因时,应保留局限性说明,不承诺排除后结果就是全体真实水平。对公开历史资料,应优先核对原始来源和更正记录,不用“走势看起来合理”作为补数依据。

常见问题

Q:表中0也应该排除吗?

只有来源明确规定0代表缺失时才按缺失处理。真实观察到的0应保留,并计入有效样本。

Q:缺失率用总记录数还是有效记录数作分母?

通常用应观察的总记录数。缺失数除以有效数描述的是另一个比值,应另行命名。

Q:缺失率低就一定没有偏差吗?

不一定。影响还取决于缺失机制、缺失对象及研究的问题,不能只看一个百分比。

Q:可以用前一次数值填补吗?

不能默认这样处理。任何填补都需要理由、适用条件和明确标记,也不能把填补值标成真实观测值。

资料说明与相关阅读

本文全部数值均为教学设定。缺失标记与有效观测的区分可参考pandas官方缺失数据说明。这里讨论通用统计口径,不要求读者使用任何软件。

可继续查看智能数据研究和趋势图表学习中的现有知识内容。

免责声明: 本文仅供公开数据整理和统计知识学习,不构成任何投注、收益或未来结果预测建议。

继续阅读相关栏目

相关文章

本平台内容仅用于公开数据整理、统计学习、趋势观察和图表阅读,不构成任何形式的建议。