10.3.1 创建DataSet

1. 使用样例类的序列得到DataSet

    scala> case class Person(name: String, age: Int)
    defined class Person
    // 为样例类创建一个编码器
    scala> val ds = Seq(Person("lisi", 20), Person("zs", 21)).toDS
    ds: org.apache.spark.sql.Dataset[Person] = [name: string, age: int]
    scala> ds.show
    +----+---+
    |name|age|
    +----+---+
    |lisi| 20|
    | zs| 21|
    +----+---+
   

2. 使用基本类型的序列得到 DataSet

    // 基本类型的编码被自动创建. importing spark.implicits._
    scala> val ds = Seq(1,2,3,4,5,6).toDS
    ds: org.apache.spark.sql.Dataset[Int] = [value: int]
    scala> ds.show
    +-----+
    |value|
    +-----+
    | 1|
    | 2|
    | 3|
    | 4|
    | 5|
    | 6|
    +-----+
   

说明:

• 在实际使用的时候, 很少用到把序列转换成 DataSet, 更多的是通过RDD来得到DataSet