1.1 什么是 Spark

Spark 是一个快速(基于内存), 通用, 可扩展的集群计算引擎

并且 Spark 目前已经成为 Apache 最活跃的开源项目, 有超过 1000 个活跃的贡献者.

历史

1. 2009 年，Spark 诞生于 UC Berkeley(加州大学伯克利分校, CAL) 的 AMP 实验室, 项目采用 Scala 编程语言编写.

2. 2010 年, Spark 正式对外开源

3. 2013 年 6 月, 进入 Apache 孵化器

4. 2014 年, 成为 Apache 的顶级项目.

5. 目前最新的版本是 2.4.0

参考: http://spark.apache.org/history.html