1. 如何加载本地文件在sc.textFile，而不是HDFS[Scala] (How to load local file in sc.textFile, instead of HDFS)

 apache-spark

我正在跟着伟大的火花教程，我试图在46m：00s加载README.md，但没有我做的是这样：$ sudo docker run -i -t -h sandbox sequenceiq / spark：1.1。 0 /etc/bootstrap.sh -…

2. 如何使用JDBC源在（Py）Spark中写入和读取数据？[Scala] (How to use JDBC source to write and read data in (Py)Spark?)

 pythonapache-spark,apache-spark-sql,pyspark

这个问题的目标是文档：使用JDBC连接读取和写入数据的步骤PySpark可能的问题与JDBC源和知道解决方案随着小的更改这些…

3. 如何在登录scala时保持返回值[Scala] (how to keep return value when logging in scala)

 logging

当在java中编程时，我总是记录一个方法的输入参数和返回值，但在scala中，方法的最后一行是返回值。所以我必须做一些事情：def myFunc（）= {…

4. Spark：如何使用Scala或Java用户定义函数映射Python？[Scala] (Spark: How to map Python with Scala or Java User Defined Functions?)

 java,pythonapache-spark,pyspark

例如，我们的团队选择Python作为Spark开发的参考语言。但后来出于性能原因，我们想开发特定的Scala或Java特定…

5. JavaFX完全自定义窗口？[Scala] (JavaFX entirely customized windows?)

 javajavafx-2,javafx

我想有一个应用程序，我完全自定义窗口的外观。到目前为止，我学到了我可以删除典型的窗口东西：class Application extends javafx ….

6. 依赖方法类型的一些引人注目的用例是什么？[Scala] (What are some compelling use cases for dependent method types?)

 haskell,programming-languages,type-systems,dependent-method-type

依赖的方法类型，以前是一个实验功能，现在已经启用默认情况下，在树干，显然这似乎已经创造了一些兴奋在Scala社区。 … …

7. 自我注释中的this和self之间的区别？[Scala] (Difference between this and self in self-type annotations?)

 scala

在各种Scala文学中，我看到一些使用“this”和其他使用“self”的自我注释：trait A {this：B => …} trait A {self：B => …}区别…

8. 如何获得sbt使用本地Maven代理存储库（Nexus）？[Scala] (how do I get sbt to use a local maven proxy repository (Nexus)?)

 maven,ivy,nexus,sbt

我有一个sbt（Scala）项目，目前从Web中提取工件。我们想要走向一个可以缓存工件的企业标准化Nexus存储库。从Nexus …

9. 从字符串生成一个类并在Scala 2.10中实例化它[Scala] (Generating a class from string and instantiating it in Scala 2.10)

 reflection,toolbox,scala-2.10

在Scala 2.10如何从字符串生成一个类（可能使用Toolbox api）以后被实例化与Scala的反射？

10. Scala @运算符[Scala] (Scala @ operator)

 operators

Scala的@操作符是什么？例如，在Scala中的Formal Language Processing，第2部分中有一个像这样的东西x @ Some（Nil）=> x

11. Scala的apply（）方法如何工作？[Scala] (How does Scala’s apply() method magic work?)

 syntactic-sugar,magic-methods,companion-object

在Scala中，如果我在类或顶级对象中定义一个名为apply的方法，那么只要将一对括号附加到该类的实例上，该方法就会被调用，并将适当的…

12. 在Scala中类型归属的目的是什么？[Scala] (What is the purpose of type ascriptions in Scala?)

 static-typing,ascription

在规格上没有太多的信息，什么类型的归属，并没有什么在那里有它的目的。除了“使传递varargs工作”，我将使用类型…

13. 如何取消未来在Scala？[Scala] (How to cancel Future in Scala?)

 multithreadingfuture

Java Future有cancel方法，它可以中断线程，运行Future任务。例如，如果我在Java Future中封装一个可中断的阻塞调用，我可以稍后中断它。

14. Scala中的函数和方法[Scala] (Functions vs methods in Scala)

 scala

我正在看Runar Bjarnason目前功能编程初学者，并在14:45他定义了一个方法：def isDivisibleBy（k：Int）：Int => Boolean = i => i％k == 0和一个函数：val …

15. 动态混合在Scala – 是可能吗？[Scala] (Dynamic mixin in Scala – is it possible?)

 mixins

我想实现的是有一个适当的实现fordef dynamix [A，B]（a：A）：A与BI可能知道B是什么，但不知道A是什么（但如果B有自我类型然后我可以添加一些…

16. 在Scala中具有伴随对象的理由是什么？[Scala] (What is the rationale behind having companion objects in Scala?)

 oopcompanion-object

是否有需要类的伴随对象（单例）的情况？为什么我要创建一个类，说Foo，并为它创建一个伴随对象？

17. 使用varargs的Spark UDF[Scala] (Spark UDF with varargs)

 apache-spark,udf

是否是列出文档中所示的所有参数（最多22个）的唯一选项？https：//spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql。 UDFRegistration任何人都想出来…

18. 如果A和B是单子，如何将A [B [C]]转换为B [A [C]]？[Scala] (How to convert A[B[C]] to B[A[C]] if A and B are monads?)

 monads,scalaz

我正在寻找一个更通用的解决方案，利用monads（和monoids可能）实现相同if（xs.contains（None））无其他Some（xs.flatten）为类型Seq [Option [A] ]。怎么样 …

19. 为什么和当Scala在调用一个arg函数时特别处理一个元组？[Scala] (Why and how is Scala treating a tuple specially when calling a one arg function?)

 tuples

scala将多个函数调用参数合并成一个元组 – 可以禁用吗？讨论了Scala创建一个元组来绑定到一个arg函数。这导致scala> println（1,2）（1,2）…

20. 什么Scala Web框架可用？ [关闭][Scala] (What Scala web-frameworks are available? [closed])

 frameworks,web-frameworks,lift

我刚开始学习Scala，我要实现的第一件事是一个微小的web应用程序。我一直在使用Erlang去年实现服务器端软件，但我从来没有写过…

21. 什么是Scala标识符“implicitly”？[Scala] (What is the Scala identifier “implicitly”?)

 implicits

我看到一个名为隐含在Scala中使用的函数示例。它是什么，它是如何使用的？示例：scala> sealed trait Foo [T] {def apply（list：List [T]）：Unit};对象Foo {| … …

22. 在Scala中读取整个文件？[Scala] (Read entire file in Scala?)

 scala

在Scala中将整个文件读入内存的一种简单而规范的方法是什么？ （理想情况下，控制字符编码。）最好的我可以想出是：scala.io.Source.fromPath（“file.txt”）….

23. scala slick方法到目前为止我还不明白[Scala] (scala slick method I can not understand so far)

 playframework-2.0,magic-methods,scalaquery,slick

我试图了解一些Slick的工作和它需要什么。它是一个例子：package modelscase class Bar（id：Option [Int] = None，name：String）object Bars extends Table [Bar]（“bar”）{def id = …

24. Scala的路径依赖类型是什么意思？[Scala] (What is meant by Scala’s path-dependent types?)

 type-systems,path-dependent-type

我听说Scala有路径依赖类型。它与内部类有关，但这是什么意思，为什么我在乎？

25. Scala中的异步IO与future[Scala] (Asynchronous IO in Scala with futures)

 multithreadingio,future

假设我从一些网址下载了一个（可能是大的）图片列表。我使用Scala，所以我会做的是：import scala.actors.Futures ._ //从wherehereval urls检索URL：…

26. 函数式编程中的reduce和foldLeft / fold之间的区别（特别是Scala和Scala API）？[Scala] (Difference between reduce and foldLeft/fold in functional programming (particularly Scala and Scala APIs)?)

 functional-programming,reduce,fold,scalding

为什么Scala和Spark和Scalding等框架都有reduce和foldLeft？那么，reduce和fold有什么区别？

27. Scala currying对部分应用的函数[Scala] (Scala currying vs partially applied functions)

 functional-programming,currying

对不起，新手问题。我意识到，在这里有几个问题，什么currying和部分应用的功能是，但我问他们是如何不同。作为一个简单的…

28. 在Scala中迭代Java集合[Scala] (Iterating over Java collections in Scala)

 javacollections,scala-java-interop

我编写一些使用Apache POI API的Scala代码。我想要遍历包含在java.util.Iterator中的行，我从Sheet类中获取。我想使用迭代器…

29. 如何更改Spark SQL的DataFrame中的列类型？[Scala] (How to change column types in Spark SQL’s DataFrame?)

 apache-spark,apache-spark-sql

假设我做的事情：val df = sqlContext.load（“com.databricks.spark.csv”，Map（“path” – >“cars.csv”，“header” – >“true”））df。 printSchema（）root | – year：string（nullable = true）…

30. Scala中的“flatmap that s ***”习语表达来自哪里？[Scala] (Where does the “flatmap that s***” idiomatic expression in Scala come from?)

 scala

什么是如此强大的平面地图，它应该在Scala民间传说这样的地方？

31. 使用Bouncy城堡签署CSR[Scala] (Sign CSR using Bouncy Castle)

 javabouncycastle

我找不到任何代码/ doc描述如何使用BC签署CSR。作为输入，我有一个CSR作为字节数组，并希望获得PEM和/或DER格式的证书。我得到了这个fardef signCSR（…）

32. 在Scala中定义函数的两种方法。有什么不同？[Scala] (Two ways of defining functions in Scala. What is the difference?)

 functioncurrying

这里是一个Scala会话，定义和尝试一些函数：scala> def test1（str：String）= str + str; test1：（str：String）java.lang.Stringscala> test1（“ab”）res0：java.lang ….

33. 为什么Scala中的模式匹配不能使用变量？[Scala] (Why does pattern matching in Scala not work with variables?)

 pattern-matching,match

采取以下函数：def fMatch（s：String）= {s match {case“a”=> println（“It was a”）case _ => println（“It was something something”）}}此模式匹配。 … ..

34. 增加Scala的JVM堆大小？[Scala] (Increase JVM heap size for Scala?)

 command-linejvm,heap

我有一个Scala数据处理工具，失败java.lang.OutOfMemoryError异常。该工具需要使一对夫妇通过一个大数据文件（我正在工作的是超过700MB），…

35. 获取Scala for / comprehension表达式的desugared部分？[Scala] (Getting the desugared part of a Scala for/comprehension expression?)

 syntactic-sugar,for-comprehension

有人知道如何获得（只有Scala部分）一个for / comprehension表达式的实际尝试在REPL（或编译器）编译之前的翻译？我发现的唯一的事情…

36. Scala的“后缀操作”[Scala] (Scala’s “postfix ops”)

 scala-2.10

我搜索了半个小时，仍然不能弄清楚。在SIP：模块化语言特性有一些功能，将需要显式“启用”在Scala 2.10（导入…

37. 如何为相同大小的分区的Spark RDD定义自定义分区器，其中每个分区具有相等数量的元素？[Scala] (How to Define Custom partitioner for Spark RDDs of equally sized partition where each partition has equal number of elements?)

 hadoop,apache-spark

我是Spark的新人。我有一个大的数据集的元素[RDD]，我想把它分成两个完全相等大小的分区保持元素的顺序。我试过使用RangePartitioner likevar data = …

38. 如何使saveAsTextFile不将输出分割成多个文件？[Scala] (how to make saveAsTextFile NOT split output into multiple file?)

 apache-spark

当在Spark中使用Scala时，每当使用saveAsTextFile转储结果时，它似乎将输出拆分为多个部分。我只是传递一个参数（路径）到它。 val year = sc.textFile（“…

39. 在Scala中用于存储内存中可变数据表的类型？[Scala] (What type to use to store an in-memory mutable data table in Scala?)

 data-structures,memoization,scala-collections

每次调用一个函数时，如果给定的一组参数值的结果尚未记忆，我想将结果放入内存表中。一列用于存储结果，其他列

40. 实例化不可变的配对对象[Scala] (Instantiating immutable paired objects)

 object,immutability

是否可以创建一个具有对合作伙伴对象的不可变引用的类，或者它必须是在创建之后分配的var？ PairedObject类（p：PairedObject，id：String）{…

41. HashPartitioner如何工作？[Scala] (How does HashPartitioner work?)

 apache-spark,partitioning

我阅读了HashPartitioner的文档。不幸的是，除了API调用，没有解释什么。我假设HashPartitioner分区分布式集合…

42. 如何在Spark中转置RDD[Scala] (How to transpose an RDD in Spark)

 apache-spark,rdd

我有一个这样的RDD：1 2 34 5 67 8 9它是一个矩阵。现在我想像这样转置RDD：1 4 72 5 83 6 9我可以这样做吗？

43. 将列表拆分为具有固定数量的元素的多个列表在java 8[Scala] (Split list into multiple lists with fixed number of elements in java 8)

 javajava-8

我想要一个类似于scala分组函数的东西。基本上，一次选择2个元素，并处理它们。这里是一个相同的参考：拆分列表到多个列表与固定…

44. 命名参数中的下划线[Scala] (Underscore in Named Arguments)

 scala

有人可以解释我在这里究竟是怎么回事？我现在没有完全陷入它：val s = Seq（1D，2D，3D，4D）case类WithUnit（value：Double，unit：String）s map {WithUnit（_，“cm”）} //。 … ..

45. 在访问Spark 2.0中的向量列时发生MatchError[Scala] (MatchError while accessing vector column in Spark 2.0)

 apache-spark

我试图在一个JSON文件上创建一个LDA模型。使用JSON文件创建spark上下文：import org.apache.spark.sql.SparkSessionval sparkSession = SparkSession.builder .master（“local”）…

46. 为什么IntelliJ IDEA如此慢地编译Scala？ [关闭][Scala] (Why does IntelliJ IDEA compile Scala so slowly? [closed])

 intellij-idea

我使用的想法9.0.3这是最新的版本。当我在Idea中编写一些scala源代码时，编译和运行需要几秒钟。这不应该那么慢，这是正常吗？

47. SPARK：failure：“union”expected，但是`（’found[Scala] (SPARK : failure: “union” expected but `(‘ found)

 sqlapache-spark,dataframe,apache-spark-sql

我有一个名为df的数据框，列名为employee_id。我在做：df.registerTempTable（“d_f”）val query =“”“SELECT *，ROW_NUMBER（）OVER（ORDER BY employee_id）row_number FROM d_f”“”val …

48. NullPointerException在Scala Spark中，似乎是造成集合类型？[Scala] (NullPointerException in Scala Spark, appears to be caused be collection type?)

 apache-spark

sessionIdList是类型：scala> sessionIdListres19：org.apache.spark.rdd.RDD [String] = MappedRDD [17] at distinct at：30当我尝试运行下面的代码：val x = sc.parallelize（List（1,2 ，3））val …

49. 了解在Scala中隐式[Scala] (Understanding implicit in Scala)

 syntax,playframework,keyword

我正在通过Scala playframework教程，我遇到了这段代码让我困惑：def newTask = Action {implicit request => taskForm.bindFromRequest.fold（…）

50. 什么是密封性状？[Scala] (What is a sealed trait?)

 sealed,traits

密封类在“Scala中的编程”中描述，但密封的特性不是。我在哪里可以找到关于密封特性的更多信息？我想知道，如果一个密封的特性是相同的…