本节书摘来自华章出版社《R语言数据分析》一书中的第2章，第2.2节，作者盖尔盖伊·道罗齐（Gergely Daróczi），潘怡　译，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2　其他流行的在线数据格式

在Web上数据通常采用XML或JSON两种格式存放，因为这两类文件都使用了人类可以理解的数据格式，从程序开发的角度而言也非常容易处理，同时也适合处理任意类型的层次化数据结构，而不像CSV文件一样仅能处理简单的表格数据。

JSON最初源于JavaScript对象标识，是当前应用最为广泛的一种人类可读的数据交换格式。JSON使用属性-值对的形式，能够支持包括数值、字符串、布尔值、有序表以及关联矩阵等多种对象类型，被认为是一种低成本的XML替换语言。在Web应用、服务和API中已经大量地使用了JSON格式。

R支持以JSON格式装载和存储数据，我们将借助Socarata API（更多细节请参考本章2.5节）从前述样例中获取部分数据来证实这一点，这些数据是由消费者金融保护局提供的，相关API的完整文档可从http://www.consumerf?inance.gov/complaintdatabase/technical-documentation获得。

该API的终端是一个不需授权即可访问的URL，我们可通过该URL获得后台数据库的信息：http://data.consumerf?inance.gov/api/views.下图是从浏览器中返回的JSON链表，显示了数据的详细结构：

鉴于JSON非常容易理解，因此可以在编译之前简单地浏览一下数据格式。下面可以使用rjson包将树状列表导入到R会话中：

这和之前我们曾经看见过的用逗号分隔的文件略有不同！再仔细分析一下文档，可以发现API终端返回的是元数据文件而非我们之前在CSV文件中看到的原始表格数据。现在我们在浏览器中打开相关URL来查看前5行中ID为25ei-6bcr的数据内容：

当然在JSON结果链表中的结构已经发生了变化。下面，让我们将水平链表读入到R中：

还可以利用诸如视图、列等一些更详细的元数据信息来获取数据，这里面可能有一些我们现在不感兴趣的内容，因为fromJSON返回的是一个list对象。从现在开始，我们可以直接删掉这些元数据，然后仅处理data行：

此时结果还是一个list对象，可以将它转换为data.frame类型。该list对象拥有5个元素，每个元素包括了19个嵌入的子节点。我们首先观察其中第13个子元素，是一个5-5的向量列表。这意味着树状list对象无法直接转换成表格数据，更不用说我们还发现其中某些向量的值是未经处理的JSON格式。因此，为了简单起见，同时也为了证明我们的观点，现在去掉与地址相关的值，然后将剩下的数据转换成data.frame格式：

我们应用了一个简单的函数去掉了表中每个元素的地址信息（移除了每个x的第13个元素），然后自动将其简化为matrix（通过使用sapply而非lapply对list中每个元素迭代处理），完成调换（通过t），再将结果强制转换为data.frame。

也可以使用之前介绍的一些方法，通过一些辅助函数而不用手动转换所有list元素。plyr包（请参考本书第3章和第4章获得更多细节）就提供了一些非常有用能够实现数据划分和组合的函数：

现在结果看起来熟悉一些了吧，尽管省略了变量的名字，而且所有值都被转换为字符向量或因子——尽管日期类型是以UNIX时间戳类型存放的。借助提供的元数据（res$meta），能够非常容易地解决这些难题。例如，可以通过抽取（通过[operator命令）除了已经被删掉的地址信息列13列之外的所有列的名字域：

也可以借助已经提供的元数据来确定对象的类别。例如，可以从域renderTypeName着手，然后使用as.numeric处理数值型，使用as.POSIXct处理所有的calendar_date，就可以解决之前谈到的绝大部分问题了。

那么，你听过80%的数据分析时间是用在数据预处理过程上这一说法吗？

对JSON和XML进行解析和重构到data.frame对象会占用大量的时间，特别是在处理层次表时尤为突出。包jsonlite试图实现R对象到常规的JSON数据格式之间的转换而非原始处理来节约时间。从实际工作的角度来看，这意味着如果可能的话，从jsonlite::fromJSON就能够得到data.frame结果而不是一堆原始list对象，实现了更好的无缝数据转换。不幸的是，我们并不是总能将list对象转换为表格式，此时，可以通过rlist包来加速list对象的转换。更多实现细节请参考本书第14章。

扩展可标记语言（Extensible Markup Language，XML）最初由万维网联盟于1996开发，一开始是以人类和机器都能读懂的格式存储文档。包括Microsoft Off?ice Open XML，Open/LibreOff?ice OpenDocument在RSS站点信息共享和很多配置文件上都采用了XML格式。XML格式也被广泛用于Internet上的数据交换，特别是某些老式API，更是将XML作为唯一的数据交换格式。

让我们再看看除了JSON以外，我们还能使用其他哪些流行的在线数据交换格式。XML API的使用方法类似JSON，但我们必须要在端URL:http://data.consumerf?inance.gov/api/views.xml指明期望的输出格式，如下图屏幕输出所示：

如图所示，API的XML输出与之前我们看到的JSON格式不太相同，它的输出仅包含我们感兴趣的行。这样，就能很简单地完成XML文档的分析，并且从中抽取出我们感兴趣的行并将其转换为data.frame：

可以通过修改传递给xmlToDataFrame函数中参数colClasses的值来手动确定变量的类型，就像在read.table函数里那样做一样，也可以通过一个快速的helper函数来解决这个问题：

当helper函数返回为TRUE时，就可以验证我们对某个列仅包含数字的猜想，并将其转换为数值类型。请注意我们在将因子类型转换为数字时先要将其转换为字符类型，因为直接将因子转换为数值会返回因子的顺序而不是实际的数值。我们还可以通过type.convert函数来解决这个问题，read.table默认会采用这一方法。

如果希望测试相似的APIs、JSON或XML源，可以尝试Twitter、GitHub上的API或其他任何一个在线服务提供商。另一方面，我们也可以找到其他的基于R的开源服务，能够从任意R代码返回XML、JSON或CSV文件。详细内容请参考：http://www.opencpu.org。

现在，我们已经能够基于各种不同类型的数据下载格式完成数据处理，不过鉴于我们还必须掌握一些其他的数据源操作，我建议读者们继续往下接着学习。