使用IntelliJ IDEA编写Scala在Spark中运行

使用IntelliJ IDEA编写Scala在Spark中运行

使用Scala写一个测试代码:

object Test {
def main(args: Array[String]): Unit = {
println("hello world")
    }
}

就把这个Test视为类,项目组织结构如:

使用IntelliJ IDEA编写Scala在Spark中运行

然后设置编译选项:

使用IntelliJ IDEA编写Scala在Spark中运行

使用IntelliJ IDEA编写Scala在Spark中运行

使用IntelliJ IDEA编写Scala在Spark中运行

使用IntelliJ IDEA编写Scala在Spark中运行

然后在项目文件夹下面可以找到编译好的Jar包:

使用IntelliJ IDEA编写Scala在Spark中运行

复制到Spark指定的目录下(自己建的):

使用IntelliJ IDEA编写Scala在Spark中运行

启动Spark,然后提交任务:

使用IntelliJ IDEA编写Scala在Spark中运行

spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello.jar

从上面控制台中已经能够看到执行的输出信息,同样,我们也可在web管理器中查看任务信息:

使用IntelliJ IDEA编写Scala在Spark中运行

接下来的事情就只剩下编写Scala程序实现自己的算法了。

Scala编程完整中文版 PDF 

快学Scala (中文完整扫描版) PDF 

Ubuntu 安装 2.10.x版本的Scala 

Spark1.0.0部署指南

CentOS 6.2(64位)下安装Spark0.8.0详细记录

Spark简介及其在Ubuntu下的安装使用

安装Spark集群(在CentOS上)

Hadoop vs Spark性能对比

Spark安装与学习

Spark 并行计算模型

Scala 的详细介绍请点这里
Scala 的下载地址请点这里

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/12901b3c9ab191741dd0d688013a4a2d.html