spark任务提交以及spark-shell使用

1227-李同学

发表文章数:84

热门标签

首页 » 大数据 » 正文

spark任务提交说明

一旦打包好,就可以使用bin/spark-submit脚本启动应用了. 这个脚本负责设置spark使用的classpath和依赖,支持不同类型的集群管理器和发布模式:

bin/spark-submit /
  --class <main-class>
  --master <master-url> /
  --deploy-mode <deploy-mode> /
  --conf <key>=<value> /
  ... # other options
  <application-jar> /
  [application-arguments]

一些常用选项:
–class: 你的应用的启动类 (如 org.apache.spark.examples.SparkPi)

  1. –master: 集群的master URL (如 spark://node01:7077)

  2. –deploy-mode: 是否发布你的驱动到worker节点(cluster) 或者作为一个本地客户端 (client) (default: client)*

  3. –conf: 任意的Spark配置属性, 格式key=value. 如果值包含空格,可以加引号“key=value”. 缺省的Spark配置

  4. application-jar: 打包好的应用jar,包含依赖. 这个URL在集群中全局可见。 比如hdfs:// 共享存储系统, 如果是 file:// path, 那么所有的节点的path都包含同样的jar.
    spark任务提交以及spark-shell使用

  5. application-arguments: 传给main()方法的参数
    Master URL 可以是以下格式:
    查看Spark-submit全部参数:
    spark任务提交以及spark-shell使用

更多参数提交说明:

  • –master MASTER_URL
    可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local
  • –deploy-mode DEPLOY_MODE
    Driver程序运行的地方,client或者cluster
  • –class CLASS_NAME
    主类名称,含包名
  • –name NAME
    Application名称
  • –jars JARS
    Driver依赖的第三方jar包
  • –py-files PY_FILES
    用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表
  • –files FILES
    用逗号隔开的要放置在每个executor工作目录的文件列表
  • –properties-file FILE
    设置应用程序属性的文件路径,默认是conf/spark-defaults.conf
  • –driver-memory MEM
    Driver程序使用内存大小
  • –driver-java-options
  • –driver-library-path
    Driver程序的库路径
  • –driver-class-path
    Driver程序的类路径
  • –executor-memory MEM
    executor内存大小,默认1G
  • –driver-cores NUM
    Driver程序的使用CPU个数,仅限于Spark Alone模式
  • –supervise
    失败后是否重启Driver,仅限于Spark Alone模式
  • –total-executor-cores NUM
    executor使用的总核数,仅限于Spark Alone、Spark on Mesos模式
  • –executor-cores NUM
    每个executor使用的内核数,默认为1,仅限于Spark on Yarn模式
  • –queue QUEUE_NAME
    提交应用程序给哪个YARN的队列,默认是default队列,仅限于Spark on Yarn模式
  • –num-executors NUM
    启动的executor数量,默认是2个,仅限于Spark on Yarn模式
  • –archives ARCHIVES
    仅限于Spark on Yarn模式
标签:

未经允许不得转载:作者:1227-李同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《spark任务提交以及spark-shell使用》 发布于2020-11-07

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录