Scala Literal类代码示例

OStack程序员社区-中国程序员成长平台 › 门户 › 编程› Scala›Scala教程

原作者: [db:作者] 来自: [db:来源] 收藏邀请

本文整理汇总了Scala中org.apache.spark.sql.catalyst.expressions.Literal类的典型用法代码示例。如果您正苦于以下问题：Scala Literal类的具体用法？Scala Literal怎么用？Scala Literal使用的例子？那么恭喜您, 这里精选的类代码示例或许可以为您提供帮助。

在下文中一共展示了Literal类的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于我们的系统推荐出更棒的Scala代码示例。

示例1: extractPartitionValues

//设置package包名称以及导入依赖的类
package org.apache.spark.sql.execution.datasources

import com.google.code.regexp.Pattern
import org.apache.hadoop.fs.Path
import org.apache.spark.sql.catalyst.expressions.Literal
import com.paypal.risk.spark.pigloader.PartitionValues
import org.apache.spark.sql.types.StringType

import scala.collection.JavaConverters._

    Literal.create(raw, StringType)
    //Literal(raw, StringType)
  }
  def extractPartitionValues(pattern: String, path: Path): PartitionValues = {
    val pathName = path.toString
    //old way
    //val (columnNames, values) = (pattern.split("/").tail zip pathName.split("/").tail).filter(pair => !pair._1.equals(pair._2)).filter(pair => isPattern(pair._1) && matchPartPattern(pair._1, pair._2)).map(pair => (extractPatternKey(pair._1), inferPartitionColumnValue(extractPatternVaule(pair._1, pair._2)))).unzip

    //new way
    val p = Pattern.compile(pattern)
    val m = p.matcher(pathName)
    val (columnNames, values) = m.namedGroups().asScala.map(kv => (kv._1,inferPartitionColumnValue(kv._2))).toSeq.unzip

    PartitionValues(columnNames.map(_.toLowerCase), values)
  }

  def resolvePartitions(pathsWithPartitionValues: Seq[(Path, PartitionValues)]):
  Seq[PartitionValues]= {
    val input = pathsWithPartitionValues.map(values =>
      (values._1, org.apache.spark.sql.execution.datasources.PartitioningUtils.PartitionValues(values._2.columnNames, values._2.literals)))

    val result = org.apache.spark.sql.execution.datasources.PartitioningUtils.resolvePartitions(input)
    result.map(t => PartitionValues(t.columnNames, t.literals))
  }
}

开发者ID:yanlzhang8936，项目名称:spark-pig-loader，代码行数:36，代码来源:PartitioningUtils.scala

注：本文中的org.apache.spark.sql.catalyst.expressions.Literal类示例整理自Github/MSDocs等源码及文档管理平台，相关代码片段筛选自各路编程大神贡献的开源项目，源码版权归原作者所有，传播和使用请参考对应项目的License；未经允许，请勿转载。