• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

R语言实战(十)处理缺失数据的高级方法

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

本文对应《R语言实战》第15章:处理缺失数据的高级方法

 

本文仅在书的基础上进行简单阐述,更加详细的缺失数据问题研究将会单独写一篇文章。

 

处理缺失值的一般步骤:

  1. 识别缺失数据;
  2. 检查导致数据缺失的原因;
  3. 删除包含缺失值的实例或用合理的数值代替(插补)缺失值。

 

 

缺失数据的分类:

完全随机缺失(MCAR):某变量的缺失数据与其他任何观测或未观测的变量都不相关;

随机缺失(MAR):某变量上的缺失数据与其他观测变量相关,与它自己的未观测值不相关;

非随机缺失(NMAR):不属于MCAR或MAR的变量。

一般情况下为MCAR或MAR,NMAR处理太过复杂,暂时不考虑。

 

识别缺失值:

#某变量缺失值数量
sum(is.na(sleep$Dream))
#某变量上缺失值的比例
mean(is.na(sleep$Dream))
#含有缺失值的实例的比例
mean(!complete.cases(sleep))
 
#生成一个以矩阵或数据框形式展示缺失值模式的表格
library(mice)
md.pattern(sleep)

  


md.pattern()结果解释: 

矩阵中,0表示有缺失值,1表示没有缺失值。第一行表述了无缺失值的模式,第二行以后表述了除标记变量外无缺失值的模式。。第一列表示各缺失值模式的实例个数,最后一列表示各模式中有缺失值的变量的个数。最后一行给出了每个变量中缺失值的数目。

 

图形探究缺失数据(package: VIM)

三个函数:

aggr()函数不仅绘制每个变量的缺失值数,还绘制每个变量组合的缺失值数;

matrixplot()函数可生成展示每个实例数据的图形;

marginplot()函数可生成一幅散点图,在图形边界展示两个变量的缺失值信息。

 

用相关性探索缺失值:

影子矩阵:用指示变量替代数据集中的数据(1表示缺失,2表示存在)

求这些指示变量间和它们与初始(可观测)变量间的相关性,有助于观察哪些变量常一起缺失,以及分析变量“缺失”与其他变量间的关系。

x <- as.data.frame(abs(is.na(sleep)))
y <- x[which(sd(x) > 0)]
cor(y)

  


相关系数大,表明两个变量间常常一起缺失。

理解缺失数据的来由和影响:

识别缺失数据的数目、分布和模式有两个目的:1. 分析生成缺失数据的潜在机制;2. 评价缺失数据对回答实质性问题的影响。

用统计方法进行缺失数据的分析:恢复数据的推理方法、涉及删除缺失值的传统方法、涉及模拟的现代方法。

所有工作的目的都是相同的:在没有完整信息的情况下,尽可能精确地回答收集数据所要解决的实质性问题。

 

理性处理不完整数据:

采用推理的方法,根据变量间的数学或逻辑关系来填补或恢复缺失值。

 

常见处理方法:

行删除:将包含一个或多个缺失值的任意一行删除;

#以下两行代码的功能等价
newdata <- mydata[complete.cases(mydata), ]
newdata <- na.omit(mydata)

  


多重插补(MI):是一种基于重复模拟的处理缺失值的方法,每个模拟数据集中,缺失数据将用蒙特卡洛方法来填补。R中可利用Amelia, mice 和mi包实现。 

mice包:利用链式方程的多元插补。具体过程:首先从一个包含缺失数据的数据框开始,返回一个包含多个(默认5个)完整数据集的对象;然后,with()函数可依次对每个完整数据集应用统计模型;最后,pool()函数将这些单独的分析结果整合为一组结果。最终模型的标准误和p值都将准确地反映出由于缺失值和多重插补而产生的不确定性。

 

mice如何插补缺失值:通过Gibbs抽样完成。每个缺失值由数据集中其他预测变量预测得来,该过程不断迭代,直到所有预测值收敛。

 

通常过程:

library(mice)
imp <- mice(mydata, m)
fit <- with(imp, analysis)
pooled <- pool(fit)
summary(pooled)
#mydata是待插补的数据框,m默认5,imp里含有m个插补数据集
#analysis是一个表达式对象,设定应用于m个插补数据集的统计分析方法
#fit包含了m个单独统计分析结果
#pooled包含m个统计分析平均结果

  


处理缺失值的其他方法: 

Hmisc

包含多种函数,支持简单插补、多重插补和典型变量插补

mvnmle

对多元正态分布数据中缺失值的最大似然估计

cat

对数线性模型中多元类别型变量的多重插补

arrayImpute/arrayMissPattern/SeqKnn

处理微阵列缺失数据的实用函数

longitudinalData

相关的函数列表,比如对时间序列缺失值进行插补的一系列函数

kmi

处理生存分析缺失值的Kaplan-Meier多重插补

mix

一般位置模型中混合类别型和连续型数据的多重插补

pan

多元面板数据或聚类数据的多重插补

 


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
R语言绘图基础 | 直方图和散点图怎么画?发布时间:2022-07-18
下一篇:
15、R语言聚类树的绘图原理发布时间:2022-07-18
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap