一、一些函数包大汇总

转载于：http://www.dataguru.cn/thread-116761-1-1.html

时间上有点过期，下面的资料供大家参考

基本的R包已经实现了传统多元统计的很多功能，然而CRNA的许多其它包提供了更深入的多元统计方法，下面要综述的包主要分为以下几个部分： 

1） 多元数据可视化（Visualising multivariate data）： 

绘图方法： 

基本画图函数（如：pairs()、coplot()）和

lattice包里的画图函数（xyplot()、splom()）可以画成对列表的二维散点图，3维密度图。car包里的scatterplot.matrix()函数提供更强大的二维散点图的画法。

cwhmisc包集合里的cwhplot包的pltSplomT()函数类似pair()画散点图矩阵，而且可以在对角位置画柱状图或密度估计图。

除此之外，scatterplot3d包可画3维的散点图，aplpack包里bagplot()可画二变量的boxplot，spin3R()可画可旋转的三维点图。misc3d包有可视化密度的函数。

YaleToolkit包提供许多多元数据可视化技术，agsemisc也是这样。

更特殊的多元图包括：aplpack包里的faces()可画Chernoff’s face；MASS包里的parcoord()可画平行坐标图（矩阵的每一行画一条线，横轴表示矩阵的每列）；

graphics包里的stars()可画多元数据的星状图（矩阵的每一行用一个星状图表示）。ade4包里的mstree()和vegan包里的spantree()可画最小生成树。

calibrate包支持双变量图和散点图，chplot包可画convex hull图。

geometry包提供了和qhull库的接口，由convexhulln()可给出相应点的索引。

ellipse包可画椭圆，也可以用plotcorr()可视化相关矩阵。denpro包为多元可视化提供水平集树形结构（level set trees）。graphics包里的mosaicplot()和vcd包里的mosaic()函数画马赛克图（mosaic plot）。

gclus包提供了针对聚类的散点图和平行坐标图。

rggobi包和DescribeDisplay包是GGobi的接口，DescribeDisplay的图可达到出版质量的要求；

xgobi包是XGobi和XGvis的接口，可实现动态交互的图。

最后，iplots包提供强大的动态交互图，尤其是平行坐标图和马赛克图。

seriation包提供seriation方法，能重新排列矩阵和系统树。

 
数据预处理： 

AIS包提供多元数据的初步描述函数。

Hmisc包里的summarize()和summary.formula()辅助描述数据，varclus()函数可做聚类，而dataRep()和find.matches()找给定数据集的典型数据和匹配数据。

KnnFinder包里的nn()函数用kd-tree找相似变量的个数。

dprep包为分类提供数据预处理和可视化函数，如：检查变量冗余性、标准化。

base包里的dist()和cluster包里的daisy()函数提供距离计算函数；

proxy包提供更多的距离测度，包括矩阵间的距离。simba包处理已有数据和缺失数据，包括相似性矩阵和重整形。 

2） 假设检验（Hypothesis testing）： 
ICSNP包提供霍特林（Hotellings）T2检验和许多非参检验方法，包括基于marginal ranks的位置检验（location test），计算空间中值和符号，形状估计。

cramer包做两样本的非参检验，SpatialNP可做空间符号和秩检验。 

3） 多元分布（Multivariate distributions）： 
描述统计（Descriptive measures）： 
stats包里的cov()和and cor()分别估计协方差和相关系数。

ICSNP包提供几种数据描述方法，如：spatial.median()估计空间中值，其它的函数估计scatter。

MASS包里的cov.rob()提供更健壮的方差/协方差矩阵估计。

covRobust包用最近邻方差估计法估计协方差。

robustbase包的covMCD()估计协方差和covOGK()做Orthogonalized Gnanadesikan-Kettenring。

rrcov包提供可扩展和稳健的估计函数covMcd()、covMest()。

corpcor包可计算大规模的协方差和偏相关矩阵。 

密度估计和模拟（Densities (estimation and simulation)）： 

MASS包的mvrnorm()产生多元正态分布的随机数。

Mvtnorm包有多元t分布和多元正态分布的概率和分位数函数，还可计算多元正态分布的密度函数。

mvtnormpcs包提供基于Dunnett的函数。

mnormt包提供元t分布和多元正态分布的密度和分布函数，并可产生随机数。

sn包提供多元偏t分布和偏正态分布的密度、分布、随机数函数。

delt包提供了许多估计多元密度的函数方法，如：CART和贪婪方法。

CRAN的Cluster任务列表（http://cran.r-project.org/web/views/Cluster.html）有更全面的信息，ks包里的rmvnorm.mixt()和dmvnorm.mixt()函数产生随机数和估计密度，

bayesm包里有多种拟合方法。很多地方都提供了模拟Wishart分布的函数，如：bayesm包里的rwishart()，MCMCpack包里的rwish()，而且MCMCpack包还有密度函数dwish()。KernSmooth 包里的bkde2D()和MASS包的kde2d()做分箱（binned）或不分箱二维核密度估计。

ks包也像ash和GenKern包样可做核平滑（kernel smoothing）。prim包用法找高维多元数据的高密度区域，feature包可计算多元数据的显著特征。 

正态检验（Assessing normality）： 

mvnormtest包提供Shapiro-Wilks检验的多元数据延伸方法，mvoutlier包检测多元离群点（outlier），ICS包可检验多元正态分布。

energy 包里的mvnorm.etest()基于E统计量做正态检验，k.sample()检验多个数据是否来自同一分布。

dprep 包里的mardia()用Mardia检验正态性。stats包里的mauchly.test()可检验Wishart分布的协方差矩阵。 

连接函数（Copulas）：

 
copula包提供常规的copula函数的程序，包括：normal, t, Clayton, Frank, Gumbel。fgac包提供generalised archimedian copula，mlCopulaSelection包可做二变量的copula。 

4） 线形模型（Linear models）： 

stats包里的lm()可做多元线形模型，anova.mlm()比较多个多元线形模型，manova()做多元方差分析（MANOVA）。

sn包的msn.mle()和 and mst.mle()可拟合多元偏正态和偏t分布模型。

pls包提供偏最小二乘回归（PLSR）和主成分回归；

ppls包可做惩罚偏最小二乘回归；

dr包提供降维回归方法，如.：片逆回归法(Sliced Inverse Regression)、片平均方差估计(sliced average variance estimation)。plsgenomics包做基于偏最小二乘回归的基因组分析。relaimpo包可评估回归参数的相对重要性。 

5） 投影方法（Projection methods）： 

主成分（Principal components）： 
stats包的prcomp()（基于svd()）和princomp()（基于eigen()）能计算主成分。sca包做单分量分析。

nFactors可评价碎石图(Scree plot)，paran包可评估主成分分析得到的主成分和因子分析得到的因子。

pcurve包做主曲线（Principal Curve）分析和可视化。

gmodels包提供适合大矩阵的fast.prcomp()和fast.svd()。

kernlab包里的kpca()用核方法做非线性的主成分分析。

pcaPP包用投影寻踪（projection pursuit）法计算稳健/鲁棒（robust）主成分。

amap包的acpgen()和acprob()函数分别针对广义（generalized）和稳健（robust）主成分分析。

主成分在很多方面也有相应的应用，如：涉及生态的ade4包，感官的SensoMinR包。

psy包里有用于心理学的各种程序，与主成分相关的有：sphpca()用球形直观表示相关矩阵，类似于3D的PCA；

fpca()图形展示主成分分析的结果，而且允许某些变量间有相关性；

scree.plot()图形展示相关或协方差矩阵的特征值。

PTAk包做主张量分析（Principal Tensor Analysis）。

smatr包提供关于异速生长（allometry）的函数。 

典型相关（Canonical Correlation）： 

stats包里的cancor()是做典型相关的函数。

kernlab包提供更稳健的核方法kcca()。

concor包提供了许多concordance methods。 

冗余度分析（Redundancy Analysis）： 

calibrate包里的rda()函数可做冗余度分析和典型相关。fso包提供了模糊集排序（Ordination）方法。 

独立成分（Independent Components）： 

fastICA包用fastICA算法做独立成分分析（ICA）和投影寻踪分析（Projection Pursuit），mlica包提供独立成分分析的最大似然拟合，PearsonICA包用基于互信息的打分函数分离独立信号。ICS包能执行不变坐标系（invariant coordinate system）和独立成分分析（independent components）。JADE包提供就JADE算法的接口，而且可做一些 ICA。 

普鲁克分析（Procrustes analysis）： 

vegan包里的procrustes()可做普鲁克分析，也提供排序（ordination）函数。更一般的普鲁克分析可由FactoMineR包里的GPA()实现。 

6） 主坐标/尺度方法（Principal coordinates / scaling methods）： 

stats包的cmdscale()函数执行传统的多维尺度分析（multidimensional scaling，MDS）（主坐标分析Principal Coordinates Analysis），MASS包的sammon()和isoMDS()函数分别执行Sammon和Kruskal非度量多维尺度分析。

vegan包提供非度量多维尺度分析的包装(wrappers)和后处理程序。 

7） 无监督分类（Unsupervised classification）： 

聚类分析： 

CRAN的Cluster任务列表全面的综述了R实现的聚类方法。stats里提供等级聚类hclust()和k-均值聚类kmeans()。

cluster包里有大量的聚类和可视化技术，

clv包里则有一些聚类确认程序，

e1071包的classAgreement()可计算Rand index比较两种分类结果。

Trimmed k-means聚类分析可由trimcluster包实现，聚类融合方法（Cluster Ensembles）由clue包实现，clusterSim包能帮助选择最佳的聚类，hybridHclust包提供一些混合聚类方法。

energy包里有基于E统计量的距离测度函数edist()和等级聚类方法hclust.energy()。

LLAhclust包提供基于似然（likelihood linkage）方法的聚类，也有评定聚类结果的指标。

fpc包里有基于Mahalanobis距离的聚类。

clustvarsel包有多种基于模型的聚类。模糊聚类（fuzzy clustering）可在cluster包和hopach包里实现。

Kohonen包提供用于高维谱（spectra）或模式（pattern）的有监督和无监督的SOM算法。

clusterGeneration包帮助模拟聚类。

CRAN的Environmetrics任务列表里也有相关的聚类算法的综述。mclust包实现了基于模型的聚类，MFDA包实现了功能数据的基于模型的聚类。 

树方法： 

CRAN的MachineLearning任务列表有对树方法的细节描述。分类树也常常是重要的多元方法，rpart包正是这样的包，rpart.permutation包还可以做rpart()模型的置换（permutation）检验。

TWIX包的树可以外部剪枝。hier.part包分割多元数据集的方差。

mvpart包可做多元回归树，party包实现了递归分割（recursive partitioning），rrp包实现了随机递归分割。

caret包可做分类和回归训练，进而caretLSF包实现了并行处理。kknn包的k-近邻法可用于回归，也可用于分类。 

8） 有监督分类和判别分析（Supervised classification and discriminant analysis）： 

MASS包里的lda()和qda()分别针对线性和二次判别分析。

mda包的mda() and fda()允许混合和更灵活的判别分析，mars()做多元自适应样条回归（multivariate adaptive regression splines），bruto()做自适应样条后退拟合（adaptive spline backfitting）。

earth包里也有多元自适应样条回归的函数。

rda包可用质心收缩法（shrunken centroids regularized discriminant analysis）实现高维数据的分类。VR的class包的knn()函数执行k-最近邻算法，knncat包里有针对分类变量的k-最近邻算法。

SensoMineR包的FDA()用于因子判别分析。许多包结合了降维（dimension reduction）和分类。

klaR包可以做变量选择，可处理多重共线性，还有可视化函数。

superpc包利用主成分做有监督的分类，classPP包则可为其做投影寻踪（projection pursuit），gpls包用广义偏最小二乘做分类。hddplot包用交叉验证的线性判别分析决定最优的特征个数。

supclust包可以根据芯片数据做基因的监督聚类。ROCR提供许多评估分类执行效果的方法。

predbayescor包可做朴素贝叶斯（naïve Bayes）分类。

关于监督分类的更多信息可以看MachineLearning任务列表。 

9） 对应分析（Correspondence analysis）： 

MASS包的corresp()和mca()可以做简单和多重对应分析。ca包提供单一、多重和联合（joint）对应分析。

ade4包的ca()和mca()分别做一般的和多重对应分析。

vegan包里也有类似的函数。cocorresp可实现两个矩阵间的co-correspondence分析。

FactoMineR 包的CA()和MCA()函数也能做类似的简单和多重对应分析，还有画图函数。

homals执行同质分析（homogeneity）。 

10） 前向查找（Forward search）： 

Rfwdmv包执行多元数据的前向查找。 

11） 缺失数据（Missing data）： 

mitools包里有缺失数据的多重估算（multiple imputation)的函数, mice包用chained equations实现了多重估算，mvnmle包可以为多元正态数据的缺失值做最大似然估计（ML Estimation），

norm包提供了适合多元正态数据的估计缺失值的期望最大化算法（EM algorithm），

cat包允许分类数据的缺失值的多重估算，mix包适用于分类和连续数据的混合数据。

pan包可为面版数据(panel data)的缺失值做多重估算。

VIM包做缺失数据的可视化和估算。

Hmisc包的aregImpute()和transcan()提供了其它的估算缺失值方法。

EMV包提供了knn方法估计缺失数据。monomvn包估计单调多元正态数据的缺失值。 

12） 隐变量方法（Latent variable approaches）： 

stats包的factanal()执行最大似然因子分析，MCMCpack包可做贝叶斯因子分析。

GPArotation包提供投影梯度（Gradient Projection）旋转因子法。

FAiR包用遗传算法作因子分析。ifa包可用于非正态的变量。

sem包拟合线形结构方程模型。

ltm包可做隐含式语义分析 (Latent semantic analysis)，eRm包则可拟合Rasch模型(Rasch models)。

FactoMineR包里有很多因子分析的方法，包括：MFA()多元因子分析，HMFA()等级多元因子分析，ADFM()定量和定性数据的多元因子分析。tsfa包执行时间序列的因子分析。

poLCA包针对多分类变量(polytomous variable)做潜类别分析（Latent Class Analysis）。 

13） 非高斯数据建模（Modelling non-Gaussian data）： 

bivpois包建模Poisson分布的二变量。

mprobit包提供了适合二元和顺序响应变量的多元概率模型。

MNP包实现了Bayesian多元概率模型。polycor包可计算多组相关（olychoric correlation）和四分相关（tetrachoric correlation）矩阵。

bayesm包里有多种模型，如：表面非相关回归(Seemingly unrelated Regression)，多元logit/probit模型, 工具变量法(Instrumental Variables)。

VGAM包里有：广义线形和可加模型（Vector Generalised Linear and Additive Models），减秩回归（Reduced Rank regression）。 

14） 矩阵处理（Matrix manipulations）： 

R作为一种基于向量和矩阵的语言，有许多处理矩阵的强有力的工具，由包Matrix和，SparseM实现。

matrixcalc包增加了矩阵微积分的功能。spam包提供了更深入的针对稀疏矩阵的方法。

 
15） 其它（Miscellaneous utitlies）： 

DEA包执行数据包络分析(data envelopment analysis,DEA)。abind包组合多维array。

Hmisc 包的mApply()扩充了apply()的功能。

除了前面描述的功能，sn包还未偏正态和偏t分布提供边缘化（marginalisation）、仿射变换（affine transformations）等。

SharedHT2包执行芯片数据的Hotelling\'s T2检验。panel包里有面版数据(panel data)的建模方法。mAr包可做向量自回归模型(vector auto-regression)，

MSBVAR包里有贝叶斯向量自回归模型。

Hmisc包的rm.boot()函数bootstrap重复测量试验（Repeated Measures Models）。compositions包提供复合数据分析（compositional data analysis）。 

cramer包为两样本数据做多元非参Cramer检验。

psy里有许多心理学的常用方法。

cwhmisc包集合的cwhmath包里有许多有趣的功能，如各种旋转函数。

desirability包提供了基于密度函数的多变量最优化方法。

geozoo包可以画geozoo包里定义的几何对象。

————————————————————————————————————————————————

二、Machine Learning & Statistical Learning

以下所有资讯都来自与VRAN task view的 Machine Learning & Statistical Learning

转载于：https://www.douban.com/note/500637572/

机器学习是计算机科学和统计学的边缘交叉领域，R关于机器学习的包主要包括以下几个方面：
 
1）神经网络（Neural Networks）：
nnet包执行单隐层前馈神经网络，nnet是VR包的一部分（http://cran.rproject.org/web/packages/VR/index.html）。

2）递归拆分（Recursive Partitioning）：
递归拆分利用树形结构模型，来做回归、分类和生存分析，主要在rpart包（http://cran.r-project.org/web/packages/rpart/index.html）和tree包（http://cran.r-project.org/web/packages/tree/index.html）里执行，尤其推荐rpart包。Weka里也有这样的递归拆分法，如：J4.8, C4.5, M5，包Rweka提供了R与Weka的函数的接口（http://cran.r-project.org/web/packages/RWeka/index.html）。

party包提供两类递归拆分算法，能做到无偏的变量选择和停止标准：函数ctree()用非参条件推断法检测自变量和因变量的关系；而函数mob()能用来建立参数模型（http://cran.r-project.org/web/packages/party/index.html）。另外，party包里也提供二分支树和节点分布的可视化展示。
mvpart包是rpart的改进包，处理多元因变量的问题（http://cran.r-project.org/web/packages/mvpart/index.html）。rpart.permutation包用置换法（permutation）评估树的有效性（http://cran.r-project.org/web/packages/rpart.permutation/index.html）。knnTree包建立一个分类树，每个叶子节点是一个knn分类器（http://cran.r-project.org/web/packages/knnTree/index.html）。LogicReg包做逻辑回归分析，针对大多数自变量是二元变量的情况（http://cran.r-project.org/web/packages/LogicReg/index.html）。maptree包（http://cran.r-project.org/web/packages/maptree/index.html）和pinktoe包（http://cran.r-project.org/web/packages/pinktoe/index.html）提供树结构的可视化函数。

3）随机森林（Random Forests）：
randomForest 包提供了用随机森林做回归和分类的函数（http://cran.r-project.org/web/packages/randomForest/index.html）。ipred包用bagging的思想做回归，分类和生存分析，组合多个模型（http://cran.r-project.org/web/packages/ipred/index.html）。party包也提供了基于条件推断树的随机森林法（http://cran.r-project.org/web/packages/party/index.html）。varSelRF包用随机森林法做变量选择（http://cran.r-project.org/web/packages/varSelRF/index.html）。

4）Regularized and Shrinkage Methods：
lasso2包（http://cran.r-project.org/web/packages/lasso2/index.html）和lars包（http://cran.r-project.org/web/packages/lars/index.html）可以执行参数受到某些限制的回归模型。elasticnet包可计算所有的收缩参数（http://cran.r-project.org/web/packages/elasticnet/index.html）。glmpath包可以得到广义线性模型和COX模型的L1 regularization path（http://cran.r-project.org/web/packages/glmpath/index.html）。penalized包执行lasso (L1) 和ridge (L2)惩罚回归模型（penalized regression models）（http://cran.r-project.org/web/packages/penalized/index.html）。pamr包执行缩小重心分类法(shrunken centroids classifier)（http://cran.r-project.org/web/packages/pamr/index.html）。earth包可做多元自适应样条回归（multivariate adaptive regression splines）（http://cran.r-project.org/web/packages/earth/index.html）。

5）Boosting :
gbm包（http://cran.r-project.org/web/packages/gbm/index.html）和boost包（http://cran.r-project.org/web/packages/boost/index.html）执行多种多样的梯度boosting算法，gbm包做基于树的梯度下降boosting，boost包包括LogitBoost和L2Boost。GAMMoost包提供基于boosting的广义相加模型(generalized additive models)的程序（http://cran.r-project.org/web/packages/GAMMoost/index.html）。mboost包做基于模型的boosting（http://cran.r-project.org/web/packages/mboost/index.html）。

6）支持向量机（Support Vector Machines）：
e1071包的svm()函数提供R和LIBSVM的接口 （http://cran.r-project.org/web/packages/e1071/index.html）。kernlab包为基于核函数的学习方法提供了一个灵活的框架，包括SVM、RVM……(http://cran.r-project.org/web/packages/kernlab/index.html) 。klaR 包提供了R和SVMlight的接口（http://cran.r-project.org/web/packages/klaR/index.html）。

7）贝叶斯方法（Bayesian Methods）：
BayesTree包执行Bayesian Additive Regression Trees (BART)算法（http://cran.r-project.org/web/packages/BayesTree/index.html，http://www-stat.wharton.upenn.edu/~edgeorge/Research_papers/BART%206--06.pdf）。tgp包做Bayesian半参数非线性回归（Bayesian nonstationary, semiparametric nonlinear regression）（http://cran.r-project.org/web/packages/tgp/index.html）。

8）基于遗传算法的最优化（Optimization using Genetic Algorithms）：
gafit包（http://cran.r-project.org/web/packages/gafit/index.html）和rgenoud包（http://cran.r-project.org/web/packages/rgenoud/index.html）提供基于遗传算法的最优化程序。

9）关联规则（Association Rules）：
arules包提供了有效处理稀疏二元数据的数据结构，而且提供函数执Apriori和Eclat算法挖掘频繁项集、最大频繁项集、闭频繁项集和关联规则（http://cran.r-project.org/web/packages/arules/index.html）。

10）模型选择和确认（Model selection and validation）：
e1071包的tune()函数在指定的范围内选取合适的参数（http://cran.r-project.org/web/packages/e1071/index.html）。ipred包的errorest()函数用重抽样的方法（交叉验证，bootstrap）估计分类错误率（http://cran.r-project.org/web/packages/ipred/index.html）。svmpath包里的函数可用来选取支持向量机的cost参数C（http://cran.r-project.org/web/packages/svmpath/index.html）。ROCR包提供了可视化分类器执行效果的函数，如画ROC曲线（http://cran.r-project.org/web/packages/ROCR/index.html）。caret包供了各种建立预测模型的函数，包括参数选择和重要性量度（http://cran.r-project.org/web/packages/caret/index.html）。caretLSF包（http://cran.r-project.org/web/packages/caretLSF/index.html）和caretNWS（http://cran.r-project.org/web/packages/caretNWS/index.html）包提供了与caret包类似的功能。

11）统计学习基础（Elements of Statistical Learning）：
书《The Elements of Statistical Learning: Data Mining, Inference, and Prediction 》（http://www-stat.stanford.edu/~tibs/ElemStatLearn/）里的数据集、函数、例子都被打包放在ElemStatLearn包里（http://cran.r-project.org/web/packages/ElemStatLearn/index.html）。

12）R统计软件的Lars算法的软件包提供了Lasso算法。根据模型改进的需要，数据挖掘工作者可以借助于Lasso算法，利用AIC准则和BIC准则精炼简化统计模型的变量集合，达到降维的目的。因此，Lasso算法是可以应用到数据挖掘中的实用算法。glasso（graphical lasso）是lasso方法的一种扩展，采用加罚的极大似然方法估计变量间协方差矩阵的逆矩阵（这个逆矩阵在图模型中被称为Concentration Matrix或者Precision Matrix），加以适当整理之后，可以得到变量间的稀疏化的偏相关系数矩阵，其中的零元素表示了变量间的条件独立关系。我们可以利用其中的非零元素生成图模型。