首页 > 程序开发 > 综合编程 > 其他综合 >

window下编译spark2.1.0

2017-04-17

window下编译spark2 1 0:一、官网下载源码,二、下载git,运行git bash,切到源码目录,spark编译要在 bash环境下进行,不然报错。

window下编译spark2.1.0:一、官网下载源码,二、下载git,运行git bash,切到源码目录,spark编译要在 bash环境下进行,不然报错。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.8:run (default) on project spark-core_2.11: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\workspace\spark-2.1.0\core"): CreateProcess error=2, 系统找不到指定的文件。

三、运行编译指令

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.0 -DskipTests clean package

spark编译需要较多内存,设置2G
编译过程需要下载很多依赖包,推荐阿里云的镜像,由于网络原因,可能会卡死,下面是编译多次的结果
这里写图片描述

相关文章
最新文章
热点推荐