Spark 常用脚本：从入门到进阶

一、概述
Spark 是一个快速、通用的大规模数据处理引擎，广泛用于大数据应用中。在 Spark 中，我们可以使用 Scala、Python 和 Java 等语言编写脚本来处理数据。本文将介绍一些常用的 Spark 脚本，帮助读者快速入门并进阶。
二、基本操作

1. Spark 应用的启动和停止
   在 Spark 中，可以使用 spark-submit 命令来提交 Spark 作业。以下是启动和停止 Spark 应用的示例脚本：

   # 启动 Spark 作业
   ./bin/spark-submit --class com.example.MyApp --master yarn --deploy-mode cluster myapp.jar
   # 停止 Spark 作业
   ./bin/spark-submit --kill <driver-id> <app-id>

2. 数据读取和写入
   在 Spark 中，可以使用 spark.read 和 spark.write 方法来读取和写入数据。以下是读取 CSV 文件和写入 Parquet 文件的示例脚本：

   # 读取 CSV 文件
   df = spark.read.csv('path/to/csv', header=True, inferSchema=True)
   # 写入 Parquet 文件
   df.write.parquet('path/to/parquet')

   三、数据处理
3. 数据清洗
   在处理大数据时，数据清洗是必不可少的步骤。以下是一个简单的数据清洗脚本，用于删除重复行和空值：

   # 删除重复行
   df = df.dropDuplicates()
   # 删除空值
   df = df.na.drop()

4. 数据转换
   在 Spark 中，可以使用 select、withColumn 和 drop 等方法来进行数据转换。以下是一个简单的数据转换脚本，用于将字符串类型的列转换为整数类型：

   # 将字符串类型的列转换为整数类型
   df = df.withColumn('age', df['age'].cast('integer'))

5. 数据聚合和分组
   在 Spark 中，可以使用 groupBy、agg 和 cube 等方法进行数据聚合和分组。以下是一个简单的数据聚合脚本，用于计算每组的平均值：

   # 计算每组的平均值
   df.groupBy('category').agg(avg('value'))

   四、性能优化
6. 数据分区和分桶
   在处理大数据时，合理地分区和分桶可以提高数据处理的效率。以下是一个简单的数据分区和分桶脚本，用于将数据按照日期分区并按照年龄分桶：

   # 将数据按照日期分区并按照年龄分桶
   df = df.withColumn('partition_col', to_date(col('date_column')))
   df = df.withColumn('bucket_col', bucket(5, 'age'))