如何配置Eclipse来使用Java编写Spark App

1. 环境准备

Eclipse 请不要使用最新的 Neon(4.6) ，太多Bug了。 还是使用最新的 Mars(4.5) 系列吧
JDK 版本8.x （Linux推荐Oracle， 没有测试过OpenJDK）
因为只是用Java，因此无需安装Scala及其相应的插件

2. 创建一个新的maven项目

3. pom.xml

org.apache.hadoop
hadoop-client
2.6.0


javax.servlet
*




org.apache.spark
spark-core_2.10
1.6.1


org.apache.spark
spark-streaming_2.10
1.6.1


org.apache.spark
spark-mllib_2.10
1.6.1


org.scala-lang
scala-library
2.10.5


这里只列出了必要的几个依赖。 其他的请根据你自己的项目需求添加

4. 使用maven打包

之后在Goal 之中填写clean package 即可

如果在修改了与Spark相关的代码之后，需要重新编译打包才行。 否则会有异常提示。

5. 代码编写注意事项：

在创建JavaSparkContext的时候，需要把自己加进去。
public static JavaSparkContextgetContext(String taskName) {
JavaSparkContextsc = new JavaSparkContext(SparkConnUtils.getSparkConf(taskName));
sc.addJar("target/sparkstat-0.0.1-SNAPSHOT.jar");

return sc;
}

其中target/sparkstat-0.0.1-SNAPSHOT.jar是maven 运行之后生成的完整的jar包

不用配置什么eclipse，学习推送就找例子，下载后看人家怎么做的

利用eclipse软件编写一个小java程序，并运行它 工具/原料 安装好jdk并配置好环境变量 安装好eclipse软件 方法/步骤 1 打开eclipse，点击File->New->Project，选择java->java project，效果如图所示 2 在project name栏输入工程名称，如“Helloworld”，点击Finish 3 在左边的project explorer中可以找到新建的Helloworld工程，点开工程，找到src，右键，点击New->class 4 出现如图所示界面，在name栏输入类名，点击Finish 5 在创建好的Helloworld.java文件中可写入如图所示的代码 6 点击下图中中间的那个绿色的按钮执行文件 7 出现如图所示的窗口，点击ok 8 在下面的窗口中可以看到输出了“helloworld”，程序执行成功 END 注意事项 jdk需要安装好并且正确配置环境变量