• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

《R语言实战》读书笔记--第四章 基本数据管理

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

本章内容:

操纵日期和缺失值

熟悉数据类型的转换

变量的创建和重编码

数据集的排序,合并与取子集

选入和丢弃变量

多说一句,数据预处理的时间是最长的……确实是这样的,额。

4.1一个示例

4.2创建新变量

算术运算符:+、-、*、/、^(**)(求幂)、x %% y(取余运算)、x %/% y(整数除法)。

transform函数:

transform函数现在只用于数据框。对数据框进行操作。

例子:

mydata <- transform(mydata,
        sumx = x1+x2,
        meanx =(x1+x2)/2)
#这里的x1和x2是mydata的两列

对数据框的操作请多用transform函数。

4.3变量的重编码

所谓重编码,就是根据一个变量与其他变量的现有值创建新值的过程。比如:

将一个连续型变量修改为一组类别值

将误编码的值替换为正确值

要进行重编码,可能用到逻辑运算符,逻辑运算符会返回TRUE或者FALSE。

其中,两个逻辑运算符想说一说:

1、书上说浮点型数据慎用 == ,果然是继承了c语言的特点……,不知为何这么说。

2、关于&和&&,&是比较向量中对应关系的所有数,而&&只是比较向量中的第一个数。ps.这里可能涉及到S3、S4面向对象的知识。

下面的函数:

within函数跟with类似,不过可以修改数据框,可是视为transform的替代函数。

比如:

within(data.frame,
        {expr})

关于重编码函数,cut()可以将一个数值变量按照值域划分为区间,并返回一个因子。

cut(x, breaks, labels = NULL,
    include.lowest = FALSE, right = TRUE, dig.lab = 3,
    ordered_result = FALSE, ...)
#上面的x是要分割的向量,breaks是一个数或者向量,如若是数的话,
#表明分为具有相应个数水平的因子,如果是向量,那就是规定切分
#的点。dig.lab是几位有效数字,最后一项是是否为有序因子

还提到,car包中的recode函数可以方便的编码数值型、字符型和因子,doBY包中的recodevar()函数是很受欢迎的,试用了recodevar,很方便。

4.4变量的重命名

想要对变量名重命名,可以使用fix()函数,交互式的修改;可以使用reshape包中的rename函数(plyr包中有rename函数……),我一直使用的是 colnames……太麻烦了。

rename(x,c(oldname = "newname",...))

rename函数可以将向量和数据框直接修改名字。当然可以用names来命名,names(x)[1] <- ‘newname’。

4.5缺失值

R中缺失值用NA(Not Available)表示,不可能出现的结果用NaN(Not a Number)表示。is.na()可以判断是否是缺失值。is.na可以作用在向量、数据框上。可以用summary函数来查看一个数据框的情况。

注意:NA是不能比较的,即使是自己跟NA比较也不行,所以判断某个数是NA,a == NA 是不对的,曾经用过 which(data.frame == NA)不出结果,原来是这个原因。所以用 is.na函数才可以。

4.5.1重编码某些值为缺失值

就是说将异常值标为NA

4.5.2在分析中排除缺失值

在进行计算时,很多函数有参数 na.rm = TRUE,就把NA排除在外。当使用函数处理不完整数据时,最好用?函数名 来查看一下是不是有针对缺失值的参数。函数 na.omit()可以将不完整的观测值进行移除,是完全移除一条观测数据!在15章会有更详细的讨论。

4.6日期值

日期值通常以字符串的形式输入到R中,然后转化为以数值形式存储的日期变量。函数as.Date()执行这样的转换,并且可以规定读入数据的格式!!跟我想的不一样啊。

比如,dates <- as.Date(“8/11/2015”,”%m/%d%Y”)将日期按照%m/%d/%Y的格式读取数据并储存。一旦完成这样的转换,就可以对其进行分析、绘图等工作了。

Sys.Date()可以返回当天的日期,而date()可以返回当前日期和时间。

format函数可以接收一个参数,并且按照一定的格式输出。

format(x, trim = FALSE, digits = NULL, nsmall = 0L,
       justify = c("left", "right", "centre", "none"),
       width = NULL, na.encode = TRUE, scientific = NA,
       big.mark = "",   big.interval = 3L,
       small.mark = "", small.interval = 5L,
       decimal.mark = ".", zero.print = NULL,
       drop0trailing = FALSE, ...)

上面的各种参数都是在设置输出的格式,用的时候再研究。书上的例子是,format(Sys.Date(),format = “%B %d %Y”).

R语言储存日期是以1970.1.1以来多少天的形式。所以可以做减法,as.Date(“date1”)-as.Date(“date2”).

difftime函数:

difftime(time1, time2, tz,#tz跟时间域有关系
         units = c("auto", "secs", "mins", "hours",
                   "days", "weeks"))

4.6.1日期转换为字符

用as.character即可。

4.6.2更多

两个包lubridate包,fCalendar可以提供日期识别、提取、加减等。

4.7类型转换

下面是判断和转换函数表:

后面的(if-then)结构可以跟is函数结合使用,以便按照不同方式处理数据。话说,有的时候函数需要特定类型的输入,需要强制类型转换。比如数据框的一列数字,但是提取一列以后返回的是因子类型,那么就要进行类型转换。

4.8数据排序

order函数,返回一个位置向量,返回向量从小到大排列的位置。

order(..., na.last = TRUE, decreasing = FALSE)

sort.list(x, partial = NULL, na.last = TRUE, decreasing = FALSE,
          method = c("shell", "quick", "radix"))
#参数说明:na.last是说把NA放在最后,decreasing是指升序排列
#partial 部分排序指标向量(还不太理解)

order函数根据两个以上的指标排序,用order(指标1,指标2,…)如果对某个指标按降序排,加符号即可。

4.9数据集的合并

4.9.1添加列

将两个数据框按照某些列合并,两个数据框以某些列联接(成为内联接),就可以进行合并。用的是merge()函数:

merge(x, y, by = intersect(names(x), names(y)),
      by.x = by, by.y = by, all = FALSE, all.x = all, all.y = all,
      sort = TRUE, suffixes = c(".x",".y"),
      incomparables = NULL, ...)
#  x,y:用于合并的两个数据框

#  by,by.x,by.y:指定依据哪些行合并数据框,默认值为相同列名的列.

#  all,all.x,all.y:指定x和y的行是否应该全在输出文件.

#  sort:by指定的列是否要排序.

#  suffixes:指定除by外相同列名的后缀.

#  incomparables:指定by中哪些单元不进行合并.

merge函数可以实现SQL中的内联什么的,用的时候好好研究研究。可以用cbind函数合并列,用的很多。

4.9.2添加行

rbind函数,两个数据框变量得相同,但是顺序不一定相同。如果两个数据框列数不同。作如下处理:

1、删除dataframeA中多余变量;

2、向dataframeB中创建追加的变量,并设置为NA。

做个试验发现不对,rbind必须的列数相同。

4.10数据集取子集

4.10.1选入(保留)变量

比较有意思的一个选取,data.frame[paste(“q”,1:5,sep = “”)],挺好玩。数据框后面加列的名字即可。但是要用“”包起来。

4.10.2剔除(丢弃)变量

函数 %in%:

match(x, table, nomatch = NA_integer_, incomparables = NULL)

x %in% table

#参数说明:x是否有与tble中的元素
#nomatch 为匹配是返回的值
#incomparables table中不用匹配的量

#注意:match返回一个长度与x相同的向量,若匹配上,返回其table中的位置;匹配不上
#返回NA;而 %in% 返回一个长度与x相同的向量,匹配上返回TRUE,否则FALSE

例子:
注意这个例子中 d 中有重复值
d <- c(20,30,20,40,45,60)
match(d,c(20,60,40))
d %in% c(20,60,40)

返回:[1]  1 NA  1  3 NA  2 和 [1]  TRUE FALSE  TRUE  TRUE FALSE  TRUE

又一个例子:
注意:table中有重复值
d <- c(20,30,40,45,60)
match(d,c(20,60,40,20))
d %in% c(20,60,40,20)
返回:
[1]  1 NA  3 NA  2 和 [1]  TRUE FALSE  TRUE FALSE  TRUE

看得出来,table中如果有重复值,match返回值中只返回第一次出现的位置。

顺便:pmatch函数:

pmatch(x, table, nomatch = NA_integer_, duplicates.ok = FALSE)
#pmatch 是部分匹配函数
#duplicates.ok 来标注是否匹配上以后将table中匹配上的值删除,默认FALSE是删除
例子:
d <- c(20,30,40,45,60,20)
pmatch(d,c(20,60,40,20))
返回:[1]  1 NA  3 NA  2  4  #匹配上20以后将table中的第一个20删除,所以最后一个是值4

pmatch(d,c(20,60,40,20),duplicates.ok = TRUE)
返回:[1]  1 NA  3 NA  2  1 #不删除,最后一个值是1

例子:
pmatch("", "")                             # returns NA
pmatch("m",   c("mean", "median", "mode")) # returns NA
pmatch("med", c("mean", "median", "mode")) # returns 2

pmatch(c("", "ab", "ab"), c("abc", "ab"), dup = FALSE) #return NA 2 1
pmatch(c("", "ab", "ab"), c("abc", "ab"), dup = TRUE)  #return NA 2 2

#规则:
 1. 如果可以完全匹配, 则认为匹配上了, 返回table中的位置;

 2. 不满足上述条件, 如果是唯一部分匹配, 则返回table中的位置;

 3. 不满足上述条件, 则认为没有值与其匹配上.

删除变量还可以用 data.frame$colname <- NULL.注意向量这样用是错误的。

4.10.3选入观测

写一下which函数:

which(x, arr.ind = FALSE, useNames = TRUE)
arrayInd(ind, .dim, .dimnames = NULL, useNames = FALSE)
#x是一个逻辑向量或数组,NA视为FALSE,arr.ind 是逻辑向量,表明是不是返回数组的坐标。否则值返回一个数(将一个矩阵或者数据框按列拉成向量,返回这个向量为TRUE的位置),TRUE则返回其每个维度的坐标。useNames 就是是不是出现行列的名字?。。。
     row col                                       
[1,]   2   1
[2,]   1   2
[3,]   2   2 
[4,]   3   2
[5,]   4   2
[1,]   2   1
[2,]   1   2
[3,]   2   2
[4,]   3   2
[5,]   4   2 的区别……
which.max 和 which.min 函数,返回最大最小值位置。

4.10.4subset函数

subset函数是选择和观测最简单的方法,下面写一下:

subset(x, subset, select, drop = FALSE, ...)
#x可以是数据框,向量,矩阵,subset是一个逻辑表述,或者说是一个条件,
#select是要选取的部分,drop = TRUE 是将得到的结果组成列表。

4.10.5随机抽样

sample函数:

sample(x, size, replace = FALSE, prob = NULL)
#x是备选向量,n 选取的数量,replace 表示是否有放回抽样,prob是与x长度相等的选取可能性向#量,不一定和为1

此外,sampling包和survey包可以有更多的选择。

4.11使用SQL语句操作数据框

安装好sqldf包就可以愉快的使用sql语句了。

书上说第五章很强大,非常期待。


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
R语言实战MDS发布时间:2022-07-18
下一篇:
数据可视化——R语言forestplot包绘制组间差异对比图(森林图forest plot) ...发布时间:2022-07-18
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap