ITKeyword,专注技术干货聚合推荐

注册 | 登录

windows下spark开发环境配置

分享于

2020腾讯云双十一活动,全年最低!!!(领取3500元代金券),
地址https://cloud.tencent.com/act/cps/redirect?redirect=1073

2020阿里云最低价产品入口,含代金券(新老用户有优惠),
地址https://www.aliyun.com/minisite/goods

推荐:Spark开发记录(windows环境)

一、按照“Spark源代码编译生成全攻略”文档搭建开发环境。 二、直接SVN下载来的源码可能无法在eclipse编译通过,原因spark源代有apple和其它插件支持,需要其它

http://www.cnblogs.com/davidwang456/p/5032766.html

windows下spark开发环境配置 --本篇随笔由同事葛同学提供。 windows下spark开发环境配置 特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe、hadoop.dll等文件,前提是你已经安装了eclipse、maven、jdk等软件 spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8

我选择的spark是spark-1.4.0-bin-hadoop2.6.tgz,故以该版本为例

第一步:下载spark-1.4.0-bin-hadoop2.6.tgz到本地,并解压在本地目录 地址为:http://spark.apache.org/downloads.html

第二步:下载windows下hadoop工具包(分为32位和64位的),在本地新建一个hadoop目录,必须有 bin目录例如:D:\spark\hadoop-2.6.0\bin 然后将winutil等文件放在bin目录下 地址:https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin

第三步:配置hadoop和spark的环境变量: HADOOP_HOME 例如:D:\spark\hadoop-2.6.0

SPARK_HOME

SPARK_CLASSPATH

path中加入spark和hadoop

至此,在cmd命令下输入spark-shell 至此windows下配置ok了

搭建自己的spark maven项目hello world程序 对于已经安装了eclipse环境的程序员来说,不用再单独安装saprk的开发环境,由于spark是基于scala语言的,所以如果要想看源代码,需要安装scala的eclipse插件 第一步:安装scala的eclipse插件 地址:http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site

第一步:创建自己的spark maven项目 勾选create a simple project

第二步:选则maven生成的包,这里一定要选这jar,因为spark程序一般是打包为jar包的 其他必填自己按需填

第三步:添加spark的jar包到刚才新建的maven项目中 找到集群安装的spark安装目录,在lib目录下会看到

将加到maven项目的build path下

第四步:pom中添加自己的spark,hadoop maven依赖 例如:

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-core_2.10</artifactId>

<version>1.5.2</version>

</dependency>

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-sql_2.10</artifactId>

<version>1.5.2</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>1.2.0</version>

</dependency>

第五部:spark程序的入口是main函数,至此可以编写自己的hello world并让它跑起来和调试 public class SparkMain implements Serializable {

public static void main(String[] args) throws Exception {

//编写自己的spark程序

System.out.println(“hello spark!”); }

} Now everything is ready for you to run your main Class. Enjoy!

分类:

大数据与云计算

好文要顶

关注我

收藏该文

一天不进步,就是退步 关注 - 18

推荐:Windows7+Pycharm搭建Spark的开发环境

一般,我都会在Eclipse中安装Scala插件,用Scala语言编写Spark程序,之后将程序导出为JAR文件,再复制到Spark平台上运行,因为XX原因,现在想尝试用python写Spar

粉丝 - 274

+加关注 0 0

(请您对文章做出评价)

« 上一篇: 源码分析netty服务器创建过程vs java nio服务器创建 » 下一篇: 从netty-example分析Netty组件续 posted on

2015-, --本篇随笔由同事葛同学提供。 windows下spark开发环境配置 特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe、hadoop.dll等文件,前提是你已经安装了eclipse、maven、jdk等软件 spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8

我选择的spark是spark-1.4.0-bin-hadoop2.6.tgz,故以该版本为例

第一步:下载spark-1.4.0-bin-hadoop2.6.tgz到本地,并解压在本地目录 地址为:http://spark.apache.org/downloads.html

第二步:下载windows下hadoop工具包(分为32位和64位的),在本地新建一个hadoop目录,必须有 bin目录例如:D:\spark\hadoop-2.6.0\bin 然后将winutil等文件放在bin目录下 地址:https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin

第三步:配置hadoop和spark的环境变量: HADOOP_HOME 例如:D:\spark\hadoop-2.6.0

SPARK_HOME

SPARK_CLASSPATH

path中加入spark和hadoop

至此,在cmd命令下输入spark-shell 至此windows下配置ok了

搭建自己的spark maven项目hello world程序 对于已经安装了eclipse环境的程序员来说,不用再单独安装saprk的开发环境,由于spark是基于scala语言的,所以如果要想看源代码,需要安装scala的eclipse插件 第一步:安装scala的eclipse插件 地址:http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site

第一步:创建自己的spark maven项目 勾选create a simple project

第二步:选则maven生成的包,这里一定要选这jar,因为spark程序一般是打包为jar包的 其他必填自己按需填

第三步:添加spark的jar包到刚才新建的maven项目中 找到集群安装的spark安装目录,在lib目录下会看到

将加到maven项目的build path下

第四步:pom中添加自己的spark,hadoop maven依赖 例如:

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-core_2.10</artifactId>

<version>1.5.2</version>

</dependency>

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-sql_2.10</artifactId>

<version>1.5.2</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>1.2.0</version>

</dependency>

第五部:spark程序的入口是main函数,至此可以编写自己的hello world并让它跑起来和调试 public class SparkMain implements Serializable {

public static void main(String[] args) throws Exception {

//编写自己的spark程序

System.out.println(“hello spark!”); }

} Now everything is ready for you to run your main Class. Enjoy!

推荐:Windows下Spark开发环境的作成

以下dll文件需要移到windows/system32文件夹下。 civil.dll tray.dll jniwrap.dll jniwrap.lic jdic.dll ----------

http://www.cnblogs.com/davidwang456/p/5032766.html   windows下spark开发环境配置 --本篇随笔由同事葛同学提供。 windows下spark开发环境配置 特注:windows下开发spark不需要在本地安装hado

相关阅读排行


相关内容推荐

最新文章

×

×

请激活账号

为了能正常使用评论、编辑功能及以后陆续为用户提供的其他产品,请激活账号。

您的注册邮箱: 修改

重新发送激活邮件 进入我的邮箱

如果您没有收到激活邮件,请注意检查垃圾箱。