首页 > 网络 > 云计算 >

Spark学习-04-SparkSQLCLI单节点运行与yarn集群运行

2017-08-09

Spark学习-04-SparkSQLCLI单节点运行与yarn集群运行。

1。单节点运行

 bin/spark-sql --master spark://bigdata01.hzjs.co:7077 --executor-memory 40g --total-executor-cores 50 --conf spark.sql.warehouse.dir=hdfs://bigdata01.hzjs.co:8020/user/sparksql --conf spark.driver.maxResultSize=4g

缺点:数据量特别大会造成集群任务死掉

2。集群运行

bin/spark-sql --master yarn-client --executor-memory 80g --conf spark.sql.warehouse.dir=hdfs://bigdata01.hzjs.co:8020/user/sparksql --conf spark.driver.maxResultSize=10g
相关文章
最新文章
热点推荐