本章内容:
操纵日期和缺失值
熟悉数据类型的转换
变量的创建和重编码
数据集的排序,合并与取子集
选入和丢弃变量
多说一句,数据预处理的时间是最长的……确实是这样的,额。
4.1一个示例
4.2创建新变量
算术运算符:+、-、*、/、^(**)(求幂)、x %% y(取余运算)、x %/% y(整数除法)。
transform函数:
transform函数现在只用于数据框。对数据框进行操作。
例子:
mydata <- transform(mydata, sumx = x1+x2, meanx =(x1+x2)/2) #这里的x1和x2是mydata的两列
对数据框的操作请多用transform函数。
4.3变量的重编码
所谓重编码,就是根据一个变量与其他变量的现有值创建新值的过程。比如:
将一个连续型变量修改为一组类别值
将误编码的值替换为正确值
要进行重编码,可能用到逻辑运算符,逻辑运算符会返回TRUE或者FALSE。
其中,两个逻辑运算符想说一说:
1、书上说浮点型数据慎用 == ,果然是继承了c语言的特点……,不知为何这么说。
2、关于&和&&,&是比较向量中对应关系的所有数,而&&只是比较向量中的第一个数。ps.这里可能涉及到S3、S4面向对象的知识。
下面的函数:
within函数跟with类似,不过可以修改数据框,可是视为transform的替代函数。
比如:
within(data.frame,
{expr})
关于重编码函数,cut()可以将一个数值变量按照值域划分为区间,并返回一个因子。
cut(x, breaks, labels = NULL, include.lowest = FALSE, right = TRUE, dig.lab = 3, ordered_result = FALSE, ...) #上面的x是要分割的向量,breaks是一个数或者向量,如若是数的话, #表明分为具有相应个数水平的因子,如果是向量,那就是规定切分 #的点。dig.lab是几位有效数字,最后一项是是否为有序因子
还提到,car包中的recode函数可以方便的编码数值型、字符型和因子,doBY包中的recodevar()函数是很受欢迎的,试用了recodevar,很方便。
4.4变量的重命名
想要对变量名重命名,可以使用fix()函数,交互式的修改;可以使用reshape包中的rename函数(plyr包中有rename函数……),我一直使用的是 colnames……太麻烦了。
rename(x,c(oldname = "newname",...))
rename函数可以将向量和数据框直接修改名字。当然可以用names来命名,names(x)[1] <- ‘newname’。
4.5缺失值
R中缺失值用NA(Not Available)表示,不可能出现的结果用NaN(Not a Number)表示。is.na()可以判断是否是缺失值。is.na可以作用在向量、数据框上。可以用summary函数来查看一个数据框的情况。
注意:NA是不能比较的,即使是自己跟NA比较也不行,所以判断某个数是NA,a == NA 是不对的,曾经用过 which(data.frame == NA)不出结果,原来是这个原因。所以用 is.na函数才可以。
4.5.1重编码某些值为缺失值
就是说将异常值标为NA
4.5.2在分析中排除缺失值
在进行计算时,很多函数有参数 na.rm = TRUE,就把NA排除在外。当使用函数处理不完整数据时,最好用?函数名 来查看一下是不是有针对缺失值的参数。函数 na.omit()可以将不完整的观测值进行移除,是完全移除一条观测数据!在15章会有更详细的讨论。
4.6日期值
日期值通常以字符串的形式输入到R中,然后转化为以数值形式存储的日期变量。函数as.Date()执行这样的转换,并且可以规定读入数据的格式!!跟我想的不一样啊。
比如,dates <- as.Date(“8/11/2015”,”%m/%d%Y”)将日期按照%m/%d/%Y的格式读取数据并储存。一旦完成这样的转换,就可以对其进行分析、绘图等工作了。
Sys.Date()可以返回当天的日期,而date()可以返回当前日期和时间。
format函数可以接收一个参数,并且按照一定的格式输出。
format(x, trim = FALSE, digits = NULL, nsmall = 0L, justify = c("left", "right", "centre", "none"), width = NULL, na.encode = TRUE, scientific = NA, big.mark = "", big.interval = 3L, small.mark = "", small.interval = 5L, decimal.mark = ".", zero.print = NULL, drop0trailing = FALSE, ...)
上面的各种参数都是在设置输出的格式,用的时候再研究。书上的例子是,format(Sys.Date(),format = “%B %d %Y”).
R语言储存日期是以1970.1.1以来多少天的形式。所以可以做减法,as.Date(“date1”)-as.Date(“date2”).
difftime函数:
difftime(time1, time2, tz,#tz跟时间域有关系 units = c("auto", "secs", "mins", "hours", "days", "weeks"))
4.6.1日期转换为字符
用as.character即可。
4.6.2更多
两个包lubridate包,fCalendar可以提供日期识别、提取、加减等。
4.7类型转换
下面是判断和转换函数表:
后面的(if-then)结构可以跟is函数结合使用,以便按照不同方式处理数据。话说,有的时候函数需要特定类型的输入,需要强制类型转换。比如数据框的一列数字,但是提取一列以后返回的是因子类型,那么就要进行类型转换。
4.8数据排序
order函数,返回一个位置向量,返回向量从小到大排列的位置。
order(..., na.last = TRUE, decreasing = FALSE) sort.list(x, partial = NULL, na.last = TRUE, decreasing = FALSE, method = c("shell", "quick", "radix")) #参数说明:na.last是说把NA放在最后,decreasing是指升序排列 #partial 部分排序指标向量(还不太理解)
order函数根据两个以上的指标排序,用order(指标1,指标2,…)如果对某个指标按降序排,加符号即可。
4.9数据集的合并
4.9.1添加列
将两个数据框按照某些列合并,两个数据框以某些列联接(成为内联接),就可以进行合并。用的是merge()函数:
merge(x, y, by = intersect(names(x), names(y)), by.x = by, by.y = by, all = FALSE, all.x = all, all.y = all, sort = TRUE, suffixes = c(".x",".y"), incomparables = NULL, ...) # x,y:用于合并的两个数据框 # by,by.x,by.y:指定依据哪些行合并数据框,默认值为相同列名的列. # all,all.x,all.y:指定x和y的行是否应该全在输出文件. # sort:by指定的列是否要排序. # suffixes:指定除by外相同列名的后缀. # incomparables:指定by中哪些单元不进行合并.
merge函数可以实现SQL中的内联什么的,用的时候好好研究研究。可以用cbind函数合并列,用的很多。
4.9.2添加行
rbind函数,两个数据框变量得相同,但是顺序不一定相同。如果两个数据框列数不同。作如下处理:
1、删除dataframeA中多余变量;
2、向dataframeB中创建追加的变量,并设置为NA。
做个试验发现不对,rbind必须的列数相同。
4.10数据集取子集
4.10.1选入(保留)变量
比较有意思的一个选取,data.frame[paste(“q”,1:5,sep = “”)],挺好玩。数据框后面加列的名字即可。但是要用“”包起来。
4.10.2剔除(丢弃)变量
函数 %in%:
match(x, table, nomatch = NA_integer_, incomparables = NULL) x %in% table #参数说明:x是否有与tble中的元素 #nomatch 为匹配是返回的值 #incomparables table中不用匹配的量 #注意:match返回一个长度与x相同的向量,若匹配上,返回其table中的位置;匹配不上 #返回NA;而 %in% 返回一个长度与x相同的向量,匹配上返回TRUE,否则FALSE 例子: 注意这个例子中 d 中有重复值 d <- c(20,30,20,40,45,60) match(d,c(20,60,40)) d %in% c(20,60,40) 返回:[1] 1 NA 1 3 NA 2 和 [1] TRUE FALSE TRUE TRUE FALSE TRUE 又一个例子: 注意:table中有重复值 d <- c(20,30,40,45,60) match(d,c(20,60,40,20)) d %in% c(20,60,40,20) 返回: [1] 1 NA 3 NA 2 和 [1] TRUE FALSE TRUE FALSE TRUE 看得出来,table中如果有重复值,match返回值中只返回第一次出现的位置。
顺便:pmatch函数:
pmatch(x, table, nomatch = NA_integer_, duplicates.ok = FALSE) #pmatch 是部分匹配函数 #duplicates.ok 来标注是否匹配上以后将table中匹配上的值删除,默认FALSE是删除 例子: d <- c(20,30,40,45,60,20) pmatch(d,c(20,60,40,20)) 返回:[1] 1 NA 3 NA 2 4 #匹配上20以后将table中的第一个20删除,所以最后一个是值4 pmatch(d,c(20,60,40,20),duplicates.ok = TRUE) 返回:[1] 1 NA 3 NA 2 1 #不删除,最后一个值是1 例子: pmatch("", "") # returns NA pmatch("m", c("mean", "median", "mode")) # returns NA pmatch("med", c("mean", "median", "mode")) # returns 2 pmatch(c("", "ab", "ab"), c("abc", "ab"), dup = FALSE) #return NA 2 1 pmatch(c("", "ab", "ab"), c("abc", "ab"), dup = TRUE) #return NA 2 2 #规则: 1. 如果可以完全匹配, 则认为匹配上了, 返回table中的位置; 2. 不满足上述条件, 如果是唯一部分匹配, 则返回table中的位置; 3. 不满足上述条件, 则认为没有值与其匹配上.
删除变量还可以用 data.frame$colname <- NULL.注意向量这样用是错误的。
4.10.3选入观测
写一下which函数:
which(x, arr.ind = FALSE, useNames = TRUE) arrayInd(ind, .dim, .dimnames = NULL, useNames = FALSE) #x是一个逻辑向量或数组,NA视为FALSE,arr.ind 是逻辑向量,表明是不是返回数组的坐标。否则值返回一个数(将一个矩阵或者数据框按列拉成向量,返回这个向量为TRUE的位置),TRUE则返回其每个维度的坐标。useNames 就是是不是出现行列的名字?。。。
row col [1,] 2 1 [2,] 1 2 [3,] 2 2 [4,] 3 2 [5,] 4 2
和
[1,] 2 1 [2,] 1 2 [3,] 2 2 [4,] 3 2 [5,] 4 2 的区别……
which.max 和 which.min 函数,返回最大最小值位置。
4.10.4subset函数
subset函数是选择和观测最简单的方法,下面写一下:
subset(x, subset, select, drop = FALSE, ...) #x可以是数据框,向量,矩阵,subset是一个逻辑表述,或者说是一个条件, #select是要选取的部分,drop = TRUE 是将得到的结果组成列表。
4.10.5随机抽样
sample函数:
sample(x, size, replace = FALSE, prob = NULL)
#x是备选向量,n 选取的数量,replace 表示是否有放回抽样,prob是与x长度相等的选取可能性向#量,不一定和为1
此外,sampling包和survey包可以有更多的选择。
4.11使用SQL语句操作数据框
安装好sqldf包就可以愉快的使用sql语句了。
书上说第五章很强大,非常期待。
请发表评论