• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号
登陆 注册
OStack程序员社区-中国程序员成长平台 › 门户 › 编程›数据库

数据库

RSS

下级分类:

  • Spark SQL其他接口
    Spark 编程指南
    Spark SQL其他接口
    Spark SQL其它接口Spark SQL也支持直接运行SQL查询的接口，不用写任何代码。运行Thrift JDBC/ODBC服务器这里实现的Thrift JDBC/ODBC服务器与Hive 0.12中的HiveServer2相一致。你可以用_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:08 | 阅读：217 | 回复：0
  • Spark SQL性能调优
    Spark 编程指南
    Spark SQL性能调优
    Spark SQL性能调优对于某些工作负载，可以在通过在内存中缓存数据或者打开一些实验选项来提高性能。在内存中缓存数据Spark SQL可以通过调用sqlContext.cacheTable(tableName)方法来缓_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:08 | 阅读：192 | 回复：0
  • Spark SQL开始
    Spark 编程指南
    Spark SQL开始
    Spark SQL开始Spark中所有相关功能的入口点是SQLContext类或者它的子类，创建一个SQLContext的所有需要仅仅是一个SparkContext。val sc: SparkContext // An existing Spa_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:08 | 阅读：186 | 回复：0
  • Spark SQL
    Spark 编程指南
    Spark SQL
    Spark SQLSpark SQL允许Spark执行用SQL, HiveQL或者Scala表示的关系查询。这个模块的核心是一个新类型的RDD-SchemaRDD。SchemaRDDs由行对象组成，行对象拥有一个模式（scheme）来描述行_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:08 | 阅读：210 | 回复：0
  • Spark Streaming容错语义
    Spark 编程指南
    Spark Streaming容错语义
    Spark Streaming容错语义这一节，我们将讨论在节点错误事件时Spark Streaming的行为。为了理解这些，让我们先记住一些Spark RDD的基本容错语义。一个RDD是不可变的、确定可重复计算的、分布式数据集。每个RDD记住一_ ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:08 | 阅读：175 | 回复：0
  • Spark Streaming内存调优
    Spark 编程指南
    Spark Streaming内存调优
    内存调优调整内存的使用以及Spark应用程序的垃圾回收行为已经在Spark优化指南中详细介绍。在这一节，我们重点介绍几个强烈推荐的自定义选项，它们可以减少Spark Streaming应用程序垃圾回收的相关暂停，获得更稳定的 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:08 | 阅读：186 | 回复：0
  • Spark Streaming设置正确的批容量
    Spark 编程指南
    Spark Streaming设置正确的批容量
    设置正确的批容量为了Spark Streaming应用程序能够在集群中稳定运行，系统应该能够以足够的速度处理接收的数据（即处理速度应该大于或等于接收数据的速度）。这可以通过流的网络UI观察得到。批处理时间应该小于批间 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:08 | 阅读：176 | 回复：0
  • Spark Streaming减少批数据的执行时间
    Spark 编程指南
    Spark Streaming减少批数据的执行时间
    Spark Streaming减少批数据的执行时间在Spark中有几个优化可以减少批处理的时间。这些可以在优化指南中作了讨论。这节重点讨论几个重要的。数据接收的并行水平通过网络(如kafka，flume，socket等)接收数据需要这些数 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:08 | 阅读：179 | 回复：0
  • Spark Streaming性能调优
    Spark 编程指南
    Spark Streaming性能调优
    Spark Streaming性能调优集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置，提高Spark Streaming应用程序的性能。你需要考虑两件事情：高效地利用集群资源减少批数据的处理时_ ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:07 | 阅读：192 | 回复：0
  • Spark Streaming监控应用程序
    Spark 编程指南
    Spark Streaming监控应用程序
    Spark Streaming监控应用程序除了Spark的监控功能，Spark Streaming增加了一些专有的功能。应用StreamingContext的时候，Spark web UI显示添加的Streaming菜单，用以显示运行的rece_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:07 | 阅读：205 | 回复：0
  • Spark Streaming部署应用程序
    Spark 编程指南
    Spark Streaming部署应用程序
    Spark Streaming部署应用程序Requirements运行一个Spark Streaming应用程序，有下面一些步骤有管理器的集群-这是任何Spark应用程序都需要的需求，详见部署指南将应用程序打为jar包-你必须编译你的应用程序为_来自Spa ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:07 | 阅读：192 | 回复：0
  • Spark Streaming Checkpointing
    Spark 编程指南
    Spark Streaming Checkpointing
    Spark StreamingCheckpointing一个流应用程序必须全天候运行，所有必须能够解决应用程序逻辑无关的故障（如系统错误，JVM崩溃等）。为了使这成为可能，Spark Streaming需要checkpoint足够的_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:07 | 阅读：184 | 回复：0
  • DStreams缓存或持久化
    Spark 编程指南
    DStreams缓存或持久化
    缓存或持久化和RDD相似，DStreams也允许开发者持久化流数据到内存中。在DStream上使用persist()方法可以自动地持久化DStream中的RDD到内存中。如果DStream中的数据需要计算多次，这是非常有用的。像reduceBy_来自Spa ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:07 | 阅读：176 | 回复：0
  • DStream的输出操作
    Spark 编程指南
    DStream的输出操作
    DStreams上的输出操作输出操作允许DStream的操作推到如数据库、文件系统等外部系统中。因为输出操作实际上是允许外部系统消费转换后的数据，它们触发的实际操作是DStream转换。目前，定义了下面几种输出操作：Output ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:07 | 阅读：185 | 回复：0
  • DStream中的转换
    Spark 编程指南
    DStream中的转换
    DStream中的转换（transformation）和RDD类似，transformation允许从输入DStream来的数据被修改。DStreams支持很多在RDD中可用的transformation算子。一些常用的算子如下所示：Tr_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:07 | 阅读：198 | 回复：0
  • 输入DStreams
    Spark 编程指南
    输入DStreams
    输入DStreams和receivers输入DStreams表示从数据源获取输入数据流的DStreams。在快速例子中，lines表示输入DStream，它代表从netcat服务器获取的数据流。每一个输入流DStream和一个Receive_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:07 | 阅读：195 | 回复：0
  • Spark Streaming离散流
    Spark 编程指南
    Spark Streaming离散流
    离散流（DStreams）离散流或者DStreams是Spark Streaming提供的基本的抽象，它代表一个连续的数据流。它要么是从源中获取的输入流，要么是输入流通过转换算子生成的处理后的数据流。在内部，DStreams由一系列连续的R ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：144 | 回复：0
  • 初始化StreamingContext
    Spark 编程指南
    初始化StreamingContext
    初始化StreamingContext为了初始化Spark Streaming程序，一个StreamingContext对象必需被创建，它是Spark Streaming所有流操作的主要入口。一个StreamingContext对象可以用S_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：168 | 回复：0
  • Spark Streaming关联
    Spark 编程指南
    Spark Streaming关联
    Spark Streaming关联与Spark类似，Spark Streaming也可以利用maven仓库。编写你自己的Spark Streaming程序，你需要引入下面的依赖到你的SBT或者Maven项目中dependency_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：144 | 回复：0
  • Spark Streaming基本概念
    Spark 编程指南
    Spark Streaming基本概念
    SparkStreaming基本概念在了解简单的例子的基础上，下面将介绍编写Spark Streaming应用程序必需的一些基本概念。关联初始化StreamingContext离散流输入DStreamsDStream中的转换DStr_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：135 | 回复：0
  • Spark Streaming示例
    Spark 编程指南
    Spark Streaming示例
    一个快速的Spark Streaming例子在我们进入如何编写Spark Streaming程序的细节之前，让我们快速地浏览一个简单的例子。在这个例子中，程序从监听TCP套接字的数据服务器获取文本数据，然后计算文本中包含的单词数。做 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：180 | 回复：0
  • Spark Streaming
    Spark 编程指南
    Spark Streaming
    Spark StreamingSpark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：166 | 回复：0
  • Spark RDD持久化
    Spark 编程指南
    Spark RDD持久化
    SparkRDD 持久化Spark最重要的一个功能是它可以通过各种操作（operations）持久化（或者缓存）一个集合到内存中。当你持久化一个RDD的时候，每一个节点都将参与计算的所有分区数据存储到内存中，并且这些数据可以被 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：197 | 回复：0
  • Spark RDD 操作
    Spark 编程指南
    Spark RDD 操作
    SparkRDD 操作RDDs 支持 2 种类型的操作：转换(transformations) 从已经存在的数据集中创建一个新的数据集；动作(actions) 在数据集上进行计算之后返回一个值到驱动程序。例如，map 是一个转换操作_来自Spark 编程指 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：170 | 回复：0
  • Spark 外部数据集
    Spark 编程指南
    Spark 外部数据集
    外部数据集Spark 可以从任何一个 Hadoop 支持的存储源创建分布式数据集，包括你的本地文件系统，HDFS，Cassandra，HBase，Amazon S3等。 Spark 支持文本文件(text files)，SequenceFile_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：133 | 回复：0
  • Spark 并行集合
    Spark 编程指南
    Spark 并行集合
    Spark并行集合并行集合 (Parallelized collections) 的创建是通过在一个已有的集合(Scala Seq)上调用 SparkContext 的 parallelize 方法实现的。集合中的元素被复制到一个可_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：107 | 回复：0
  • Spark RDDs
    Spark 编程指南
    Spark RDDs
    弹性分布式数据集 (RDDs)Spark 核心的概念是 Resilient Distributed Dataset (RDD)：一个可并行操作的有容错机制的数据集合。有 2 种方式创建 RDDs：第一种是在你的驱动程序中并行化一个已经存在的_来自Spark 编程指 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：102 | 回复：0
  • Spark 运行程序
    Spark 编程指南
    Spark 运行程序
    Spark 运行程序祝贺你成功运行你的第一个 Spark 应用程序!要深入了解 API，可以从Spark编程指南开始，或者从其他的组件开始，例如：Spark Streaming。要让程序运行在集群(cluster)上，前往部署概论。最后，Spa_来自S ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：91 | 回复：0
  • Spark Shell
    Spark 编程指南
    Spark Shell
    使用 Spark Shell基础Spark 的 shell 作为一个强大的交互式数据分析工具，提供了一个简单的方式来学习 API。它可以使用 Scala(在 Java 虚拟机上运行现有的 Java 库的一个很好方式) 或 Python。在_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：102 | 回复：0
  • Spark 独立应用程序
    Spark 编程指南
    Spark 独立应用程序
    独立应用程序现在假设我们想要使用 Spark API 写一个独立的应用程序。我们将通过使用 Scala(用 SBT)，Java(用 Maven) 和 Python 写一个简单的应用程序来学习。我们用 Scala 创建一个非常简单的 Spark_来自Spark 编程 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：97 | 回复：0
  • Spark 快速上手
    Spark 编程指南
    Spark 快速上手
    Spark快速上手本节课程提供一个使用 Spark 的快速介绍，首先我们使用 Spark 的交互式 shell(用 Python 或 Scala) 介绍它的 API。当演示如何在 Java, Scala 和 Python 写独立的程_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：101 | 回复：0
  • Spark 共享变量
    Spark 编程指南
    Spark 共享变量
    共享变量一般情况下，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量被复制到每台机器上，并且这些变量在远程机器上的所有 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：87 | 回复：0
  • 初始化 Spark
    Spark 编程指南
    初始化 Spark
    初始化 SparkSpark 编程的第一步是需要创建一个 SparkContext 对象，用来告诉 Spark 如何访问集群。在创建 SparkContext 之前，你需要构建一个 SparkConf 对象， SparkConf 对象包含了_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：111 | 回复：0
  • 引入 Spark
    Spark 编程指南
    引入 Spark
    引入 SparkSpark 1.2.0 使用 Scala 2.10 写应用程序，你需要使用一个兼容的 Scala 版本(例如：2.10.X)。写 Spark 应用程序时，你需要添加 Spark 的 Maven 依赖，Spark 可以通过_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：91 | 回复：0
  • Spark 编程指南
    Spark 编程指南
    Spark 编程指南
    概论在高层中，每个 Spark 应用程序都由一个驱动程序(driver programe)构成，驱动程序在集群上运行用户的 mian 函数来执行各种各样的并行操作(parallel operations)。Spark 的主要抽象是提供一个弹性分_来自Spark 编 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：70 | 回复：0
  • Spark 快速入门
    Spark 编程指南
    Spark 快速入门
    设置Spark在本机设置和运行Spark非常简单。你只需要下载一个预构建的包，只要你安装了Java 6+和Python 2.6+，就可以在Windows、Mac OS X和Linux上运行Spark。确保java程序在PATH环境变量中，或者设置了JAVA_HOME环境 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：85 | 回复：0
  • Spark 编程介绍
    Spark 编程指南
    Spark 编程介绍
    Spark 编程指南简体中文版本书出处：http://endymecy.gitbooks.io/spark-programming-guide-zh-cn/content/从这里开始你能够从spark官方网站查看一些spark运行例子。另外，S_来自Spark 编程指南 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：99 | 回复：0
  • Slick 直接使用 SQL 语句
    Slick 教程
    Slick 直接使用 SQL 语句
    直接使用 SQL 语句如果你有需要直接使用 SQL 语句，Slick 也支持你直接使用 SQL 语句。 首先你需要引入一些引用包： import scala.slick.jdbc.{GetResult, StaticQuery = Q}import scala.slick.jdbc_来自Slick ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:01 | 阅读：176 | 回复：0
  • Slick 查询(三)
    Slick 教程
    Slick 查询(三)
    查询（三）Slick 的查询实际上是执行由 Invoker（无参数时为 UnitInvoker ) Trait 定义的方法，Slick 定义了一个从 Query 隐含的变换,使得你可以直接执行查询操作，最常用的一个情况是把整个查询结果存放到一个 Scal ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:01 | 阅读：165 | 回复：0
  • Slick 查询(二)
    Slick 教程
    Slick 查询(二)
    查询（二）Union 两个查询的结果可以通过 ++ （或者 unionAll ) 和 union 操作联合起来：val q1= Album.filter(_.artistid 10)val q2 = Album.filter(_.artistid 15)val unio_来自Slick 教程 ...……
    作者：菜鸟教程小白 | 时间：2022-2-2 19:01 | 阅读：182 | 回复：0
热门推荐
More+
专题导读
More+
热门话题
More+
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服（服务时间 9:00～18:00）

在线QQ客服
地址：深圳市南山区西丽大学城创智工业园
电邮：jeky_zhao#qq.com
移动电话：139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap