本文整理汇总了Scala中scala.tools.nsc.io.Directory类的典型用法代码示例。如果您正苦于以下问题:Scala Directory类的具体用法?Scala Directory怎么用?Scala Directory使用的例子?那么恭喜您, 这里精选的类代码示例或许可以为您提供帮助。
在下文中一共展示了Directory类的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于我们的系统推荐出更棒的Scala代码示例。
示例1: CustomSparkContext
//设置package包名称以及导入依赖的类
package lyse.stavanger.hackathon
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import scala.tools.nsc.io.Jar
import scala.tools.nsc.io.File
import scala.tools.nsc.io.Directory
import scala.Option.option2Iterable
import scala.reflect.io.Path.string2path
object CustomSparkContext {
def create(sparkMaster: String = "local", numCores: Int = 2): SparkContext = {
//creating spark context
val sparkConf = new SparkConf()
sparkConf.setAppName("Stavanger Hackathon")
// sparkConf.setMaster(sparkMaster)
sparkConf.set("spark.default.parallelism", (numCores * 3).toString)
sparkConf.set("spark.driver.allowMultipleContexts", "true")
if (!SparkContext.jarOfClass(this.getClass).isEmpty) {
//If we run from eclipse, this statement doesnt work!! Therefore the else part
sparkConf.setJars(SparkContext.jarOfClass(this.getClass).toSeq)
} else {
val jar = Jar
val classPath = this.getClass.getResource("/" + this.getClass.getName.replace('.', '/') + ".class").toString()
println(classPath)
val sourceDir = classPath.substring("file:".length, classPath.indexOf("/bin") + "/bin".length).toString()
jar.create(File("/tmp/GreenRouteDB-0.1.jar"), Directory(sourceDir), "DataNorge")
sparkConf.setJars("/tmp/GreenRouteDB-0.1.jar" :: Nil)
}
val sc = new SparkContext(sparkConf)
sc
}
}
开发者ID:achak1987,项目名称:greenrouteDBServer,代码行数:40,代码来源:CustomSparkContext.scala
注:本文中的scala.tools.nsc.io.Directory类示例整理自Github/MSDocs等源码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。 |
请发表评论