本文对应《R语言编程艺术》
第14章:性能提升:速度和内存;
第15章:R与其他语言的接口;
第16章:R语言并行计算
=========================================================================
性能提升:速度和内存
要使R代码运行速度更快,有以下建议:
- 通过向量化的方式优化、使用字节码编译等;
- 将代码中最消耗CPU的核心部分用编译型语言编写,如C或C++;
- 将代码用某种并行的方式编写。
消除显示循环:
采用向量化提升速度,因为采用显示循环涉及多次函数调用和迭代,耗费时间,而向量化函数内部是用编译型语言实现,因此会提升速度。
常用的加速代码的向量化函数:ifelse() /which() /where() /any() /all() /cumsum() /cumprod()等函数;用于矩阵的rowSums() /colSums()等函数;用于穷举所有组合问题的combn() /outer() /lower.tri() /upper.tri() /expand.grid()等函数。
尽管apply()可以消除显式循环,但它实际上是用R而不是C实现的,因此它通常并不能加速代码,只是使代码更加紧凑。然而,其他的apply函数,如lapply(),对于加速代码是非常有帮助的。
利用Rprof()来寻找代码的瓶颈:
首先调用Rprof()来开启监视器,然后运行代码,再调用带NULL参数的Rprof()来结束监视。最后,调用summaryRprof()来查看结果。
内存管理:
数据分块:read.table()函数的skip参数设置,可以分块读取数据。
R软件包的内存管理:RMySQL,提供R与MySQL的接口,将选择数据的操作放在数据库端;biglm包,可以在非常大的数据集上进行回归和广义线性模型的分析;ff包,通过将数据存放在硬盘上来回避内存的限制;bigmemory包,功能类似,但它不仅可以将数据存储在硬盘上,还可以将数据保存在机器的主内存中,这对于多核的机器而言是一个理想的选择。
=========================================================================
R与其他语言的接口
能被R调用的C/C++函数:
一般而言,这样做的目的是提升程序的性能;另一个原因是使用特殊的I/O操作(例如R使用的TCP协议速度不如C/C++使用的UDP协议)。
接口可以通过.C()或.Call()实现。.Call()提供了更全面的功能,但使用它需要对R的内部结构有所了解。
注意:C语言中,二维数组是按行进行存储的,而在R中则是按列存储;C语言下标是从0开始,而在R中是从1开始。
从Python调用R:
Python缺少内置的统计和数据处理功能,可以通过R来弥补。
RPy是一个Python模块,允许在Python中使用R。如果希望有额外的性能提升,则可以考虑与NumPy共同使用。
语法:R中的对象(函数)名冠上r.前缀。
注意:Python的语法中没有波浪号,因此在指定模型表达式时需要使用字符串;
需要一个数据框来包含数据;
如果R的函数名中带有英文句点,那么需要在Python中改为下划线。
>>> r.library(‘lattice’) >>> r.assign(‘a’, a) >>> r.assign(‘b’, b) >>> r(‘g <- expand.grid(a, b)’) >>> r(‘g$Var3 <- g$Var1^2 + g$Var1 * g$Var2’) >>> r(‘wireframe(Var3 ~ Var1 + Var2, g)’) >>> r(‘plot(wireframe(Var3 ~ Var1 + Var2, g))’)
=========================================================================
R语言并行计算
Snow包简介:主要过程:
- 加载代码
- 加载snow包
- 创建snow集群
- 建立相关的邻接矩阵
- 在创建的集群上针对邻接矩阵运行代码
OpenMP包:
利用R调用并行化的C
常用指令:
#pragma omp barrier |
迭代型算法中常用,线程将在屏障处进行等待,直到每次迭代的结束 |
#pragma omp critical { // place one or more statements here } |
紧接着这一指令的代码块称为一个“关键区域”(critical section),意思是在这个区域中同时只允许一个线程执行这段代码 |
#pragma omp single { // place one or more statements here } |
紧接着这一指令的代码块将只被一个线程执行 |
简单并行(embarrassingly parallel):
指那些线程与线程之间不需要进行交互的并行方式,它们往往只需要将原始的程序稍加修改即可实现并行。这样,不仅编写简单,而且有着极地的通信开销。
静态和动态任务分配:
总体来说,动态任务分配因为有可能产生严重的缓存开销,因此实际上性能不如静态分配。