• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号
登陆 注册
OStack程序员社区-中国程序员成长平台 › 门户 › 编程› 数据库›Spark 编程指南

Spark 编程指南

RSS
  • Spark Streaming基本概念
    Spark Streaming基本概念
    SparkStreaming基本概念在了解简单的例子的基础上，下面将介绍编写Spark Streaming应用程序必需的一些基本概念。关联初始化StreamingContext离散流输入DStreamsDStream中的转换DStr_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：134 | 回复：0
  • Spark Streaming关联
    Spark Streaming关联
    Spark Streaming关联与Spark类似，Spark Streaming也可以利用maven仓库。编写你自己的Spark Streaming程序，你需要引入下面的依赖到你的SBT或者Maven项目中dependency_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：144 | 回复：0
  • 初始化StreamingContext
    初始化StreamingContext
    初始化StreamingContext为了初始化Spark Streaming程序，一个StreamingContext对象必需被创建，它是Spark Streaming所有流操作的主要入口。一个StreamingContext对象可以用S_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：167 | 回复：0
  • Spark Streaming离散流
    Spark Streaming离散流
    离散流（DStreams）离散流或者DStreams是Spark Streaming提供的基本的抽象，它代表一个连续的数据流。它要么是从源中获取的输入流，要么是输入流通过转换算子生成的处理后的数据流。在内部，DStreams由一系列连续的R ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：143 | 回复：0
  • Spark 共享变量
    Spark 共享变量
    共享变量一般情况下，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量被复制到每台机器上，并且这些变量在远程机器上的所有 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：87 | 回复：0
  • Spark 快速上手
    Spark 快速上手
    Spark快速上手本节课程提供一个使用 Spark 的快速介绍，首先我们使用 Spark 的交互式 shell(用 Python 或 Scala) 介绍它的 API。当演示如何在 Java, Scala 和 Python 写独立的程_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：101 | 回复：0
  • Spark 独立应用程序
    Spark 独立应用程序
    独立应用程序现在假设我们想要使用 Spark API 写一个独立的应用程序。我们将通过使用 Scala(用 SBT)，Java(用 Maven) 和 Python 写一个简单的应用程序来学习。我们用 Scala 创建一个非常简单的 Spark_来自Spark 编程 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：96 | 回复：0
  • Spark Shell
    Spark Shell
    使用 Spark Shell基础Spark 的 shell 作为一个强大的交互式数据分析工具，提供了一个简单的方式来学习 API。它可以使用 Scala(在 Java 虚拟机上运行现有的 Java 库的一个很好方式) 或 Python。在_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：102 | 回复：0
  • Spark 运行程序
    Spark 运行程序
    Spark 运行程序祝贺你成功运行你的第一个 Spark 应用程序!要深入了解 API，可以从Spark编程指南开始，或者从其他的组件开始，例如：Spark Streaming。要让程序运行在集群(cluster)上，前往部署概论。最后，Spa_来自S ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：91 | 回复：0
  • Spark RDDs
    Spark RDDs
    弹性分布式数据集 (RDDs)Spark 核心的概念是 Resilient Distributed Dataset (RDD)：一个可并行操作的有容错机制的数据集合。有 2 种方式创建 RDDs：第一种是在你的驱动程序中并行化一个已经存在的_来自Spark 编程指 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：101 | 回复：0
  • Spark 并行集合
    Spark 并行集合
    Spark并行集合并行集合 (Parallelized collections) 的创建是通过在一个已有的集合(Scala Seq)上调用 SparkContext 的 parallelize 方法实现的。集合中的元素被复制到一个可_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：107 | 回复：0
  • Spark 外部数据集
    Spark 外部数据集
    外部数据集Spark 可以从任何一个 Hadoop 支持的存储源创建分布式数据集，包括你的本地文件系统，HDFS，Cassandra，HBase，Amazon S3等。 Spark 支持文本文件(text files)，SequenceFile_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：132 | 回复：0
  • Spark 编程介绍
    Spark 编程介绍
    Spark 编程指南简体中文版本书出处：http://endymecy.gitbooks.io/spark-programming-guide-zh-cn/content/从这里开始你能够从spark官方网站查看一些spark运行例子。另外，S_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：99 | 回复：0
  • Spark 快速入门
    Spark 快速入门
    设置Spark在本机设置和运行Spark非常简单。你只需要下载一个预构建的包，只要你安装了Java 6+和Python 2.6+，就可以在Windows、Mac OS X和Linux上运行Spark。确保java程序在PATH环境变量中，或者设置了JAVA_HOME环境 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：85 | 回复：0
  • Spark 编程指南
    Spark 编程指南
    概论在高层中，每个 Spark 应用程序都由一个驱动程序(driver programe)构成，驱动程序在集群上运行用户的 mian 函数来执行各种各样的并行操作(parallel operations)。Spark 的主要抽象是提供一个弹性分_来自Spark 编 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：70 | 回复：0
  • 引入 Spark
    引入 Spark
    引入 SparkSpark 1.2.0 使用 Scala 2.10 写应用程序，你需要使用一个兼容的 Scala 版本(例如：2.10.X)。写 Spark 应用程序时，你需要添加 Spark 的 Maven 依赖，Spark 可以通过_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：91 | 回复：0
  • 初始化 Spark
    初始化 Spark
    初始化 SparkSpark 编程的第一步是需要创建一个 SparkContext 对象，用来告诉 Spark 如何访问集群。在创建 SparkContext 之前，你需要构建一个 SparkConf 对象， SparkConf 对象包含了_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：111 | 回复：0
12
热门推荐
More+
专题导读
More+
热门话题
More+
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服（服务时间 9:00～18:00）

在线QQ客服
地址：深圳市南山区西丽大学城创智工业园
电邮：jeky_zhao#qq.com
移动电话：139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap