Hadoop 3.x大数据集群搭建系列4-安装Spark

在Hadoop 3.x大数据集群中，Spark是一个非常重要的组件，用于处理大规模数据。本篇文章将指导您完成Spark的安装过程，包括配置环境、上传Spark纯净版jar包等步骤。
首先，确保您的Hadoop集群已经正常运行。接下来，我们需要进行以下步骤来安装Spark：

1. 修改Hadoop中的yarn-site.xml配置：在$HADOOP_HOME/etc/hadoop/yarn-site.xml文件中增加以下配置。注意替换为你自己的HDFS路径。

   <property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
   </property>
   <property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
   </property>

   然后，将修改后的yarn-site.xml文件分发到集群的其他节点，并重启yarn服务。
2. 上传Spark纯净版jar包到HDFS：将Spark纯净版jar包上传到HDFS的/spark目录下。您可以使用以下命令完成上传：

   hdfs dfs -mkdir /spark
   hdfs dfs -put spark-*.jar /spark/

3. 配置Spark：在Spark的conf目录下创建spark-env.sh文件，并添加以下配置：

   export HADOOP_CONF_DIR=/etc/hadoop/conf
   export SPARK_DIST_CLASSPATH=$(hadoop classpath)

4. 配置Spark的Executor内存：在Spark的conf目录下创建spark-defaults.conf文件，并添加以下配置：

   spark.executor.memory 4g
   spark.driver.memory 2g

5. 启动Spark：在Spark的sbin目录下运行以下命令启动Spark：

   ./start-all.sh

   至此，您已经完成了Spark的安装过程。您可以使用以下命令来提交Spark作业：

   ./bin/spark-submit --class your.main.class.here --master yarn --deploy-mode cluster yourSparkApp.jar arguments...`

   在以上命令中，将your.main.class.here替换为您的主类名，将yourSparkApp.jar替换为您的jar包名，将arguments…替换为您的参数列表。—master yarn指定使用YARN作为集群管理器，—deploy-mode cluster指定在集群模式下运行作业。
   请注意，以上步骤仅适用于Hadoop 3.x和Spark的安装和配置。如果您使用的是其他版本或不同的操作系统，请根据相应版本的文档进行操作。此外，对于生产环境中的大规模数据处理任务，还需要进行更多的优化和配置，以提高性能和稳定性。