在spark集群中怎么设置worker节点的数目

SPARK_HOME/conf/slaves

配置文件里设置worker的主机hostname或者ip，一行一个，如果哪个worker不用时在前面加#注释掉就行了，这样就能达到设置woker节点数目的目的。

1、设置每个executor使用的cpu数为4

sparkexecutorcores 4

2、限制cpu使用数量，这里会启动3个executor(12/4)

sparkcoresmax 12

3、设置每个executor的内存大小为8g

sparkexecutormemory 12g

以上设置将会启动3个executor,每个executor使用4cpu,12gRAM。

总共占用worker资源12cpu,36gRAM。

Spark16的源码部分为：

protected final String EXECUTOR_MEMORY = "--executor-memory";protected final String TOTAL_EXECUTOR_CORES = "--total-executor-cores";protected final String EXECUTOR_CORES = "--executor-cores";

也可以在提交任务的时候添加：

SparkSubmit --class comdyqsparkMyClass --master:spark://master:7077 --total-executor-cores 12 --executor-cores 24 --executor-memory 12g

tip

在使用过程中发现如果使用spark15以下版本有时候会出现即使有资源也申请不到的情况。

Spark的Web监控页面 在SparkContext中可以看到如下代码： 首先是创建一个Spark Application的Web监控实例对象： 然后bind方法会绑定一个web服务器： 可以看出我们使用Jetty服务器来监控程序的运行和显示Spark集群的信息的。

spark向集群1中的yarn提交任务，任务运行在集群1的yarn容器中。数据写入集群2的hdfs。集群1与集群2开通kerberos互信操作。

关于大数据方面技术问题可以咨询，替你解决你的苦恼。 参考： https://wwwjianshucom/p/d148af2bda64

如何在 Amazon EMR Cluster上安装Apache Spark

Amazon EMRSparkAWS

摘要：Amazon EMR高级产品经理Jonathan Fritz详细介绍了如何在 Amazon EMR Cluster上安装Apache Spark。

在过去的五年之中，Amazon Elastic MapReduce (Amazon EMR)已经开始逐渐转变成一个超出Hadoop范畴之外的一种运行许多分布式计算框架Container。在Amazon EMR簇中，用户可以选择运行各种引擎，包括HBase, Impala, Spark, or Presto，并且还能使用Amazon EMR的众多功能，比如Amazon Simple Storage Service (Amazon S3)的快速处理功能，同时还可以和其他AWS功能服务建立联系，并且减轻使用压力（集群的创造和控制）。

对于Apache Spark，我们更多的感到的是一种格外的惊喜。是一个位于Apache Hadoop生态系统之中的用来高速、高效地处理大数据的引擎。通过引导和使用内存中，容错弹性的分布式数据集（RDDS），非循环图（DAG）来定义数据转换，与HadoopMapReduce相比，Spark显示了显著的性能提升。

Amazon EMR对于Spark来说一点都不陌生，事实上，客户通过在Amazon EMR运行Spark来管理Hadoop集群很久了。为了能够让客户更加方便的在Amazon EMR集群上运行Spark，亚马逊AWS在2013年2月编写了如何运用Spark和Shark的文章。

Spark生态圈也发生了很多的变化：Spark已经逐渐完善到了1x版本，这种完善版能保证所有1x版本的API发布时有着极高的稳定性。由于Spark SQL的强劲功能，Shark已经逐渐退出了历史舞台，而且Spark可以再Yarn上运行（Hadoop2的资源管理器），我们已经修改了我们的引导动作，将Spark1x安装在Hadoop2x的AIM上，这样它同时也可以在Yarn顶端运行。这个引导动作同时也在Spark SQL，Spark Streaming，MLlib和GraphX上完成了安装于配置。

Spark的安装于引导程序在Amazon S3中的路径是：

s3://supportelasticmapreduce/spark/install-spark

或者你也可以在EMR Labs GitHub page上寻找更多的安装Spark引导脚本的信息。

利用这个安装引导动作，用户可以轻松的从控制器或AWS CLI向Amazon EMR配置器中进行安装（在这里展示具体的使用过程：但是你要用你的集群的开启SSH的密钥对来代替MyKeyPair）

awsemr create-cluster --name SparkCluster --ami-version 321 --

instance-type m3xlarge --instance-count 3 --ec2-attributes

KeyName=MyKeyPair --applications Name=Hive --bootstrap-actions

Path=s3://supportelasticmapreduce/spark/install-spark

正确安装的话，那么这个引导动作就会被顺利安装。

· Spark 081 on Hadoop 103 (AMI 2x)

· Spark 100 on Hadoop 220 (AMI 30x)

· Spark 110 on Hadoop 240 (AMI 31x and 32

同时，亚马逊AWS官方也上传了原始的在Amazon EMR上的Spark文章，用来作为Spark和Spark SQL 实例中全新的引导动作和语法的参照。

原文链接：http://blogsawsamazoncom/bigdata/post/Tx15AY5C50K70RV/Installing-Apache-Spark-on-an-Amazon-EMR-Cluster

如您需要了解AWS最新资讯或是技术文档可访问AWS中文技术社区；如您有更多的疑问请在AWS技术论坛提出，稍后会有专家进行答疑。

订阅“AWS中文技术社区”微信公众号，实时掌握AWS技术及产品消息！

AWS中文技术社区为广大开发者提供了一个Amazon Web Service技术交流平台，推送AWS最新资讯、技术视频、技术文档、精彩技术博文等相关精彩内容，更有AWS社区专家与您直接沟通交流！快加入AWS中文技术社区，更快更好的了解AWS云计算技术。

可以的，spark提交job的方式有client和cluster两种，同时提交多个的话最好用cluster方式，但是需要注意的是：如果集群的资源不能同时支持两个job运行，则后提交的job会一直等待资源，直到第一个job运行完成释放出足够的资源。具体的行为依赖资源管理框架（如yarn）