本文共 1187 字，大约阅读时间需要 3 分钟。

在PySpark中，对数据框中的某一列求和并返回整数类型（int）可以通过groupBy()函数结合agg()函数实现。以下是实现步骤和代码示例：

导入必要的库

确保已安装PySpark库，并导入必要的模块：

from pyspark.sql import SparkSessionfrom pyspark.sql.functions import sum, col

创建Spark会话

创建一个Spark会话实例：

spark = SparkSession.builder \    .appName("求和示例") \    .getOrCreate()

加载数据

假设数据以JSON格式存储，使用read.json()加载数据：

data = spark.read.json("path/to/your/data.json")  # 请替换为实际文件路径

数据处理

假设要对名为"number_column"的字段求和：

result = data.groupBy().sum("number_column")  # 将所有行的"number_column"字段相加

转换为int类型

由于Spark默认返回Long类型，使用cast()将结果转换为整数：

final_result = result.withColumn("sum", col("sum").cast("int"))

查看结果

使用show()方法查看最终结果：

final_result.show()

完整代码示例

以下是完整的代码示例：

from pyspark.sql import SparkSessionfrom pyspark.sql.functions import sum, col# 创建Spark会话spark = SparkSession.builder \    .appName("求和示例") \    .getOrCreate()# 加载数据data = spark.read.json("path/to/your/data.json")  # 请替换为实际文件路径# 数据处理result = data.groupBy().sum("number_column")  # 将所有行的"number_column"字段相加# 转换为int类型final_result = result.withColumn("sum", col("sum").cast("int"))# 查看结果final_result.show()# 停止Spark会话spark.stop()

AI大模型应用场景

假设你有一个应用，需要计算用户在社交媒体上的总点赞数。首先，确保你的数据是每个用户的点赞数，这些点赞数存储在一个字段中。然后，你可以按照用户ID进行分组，并求和得到每个用户的总点赞数。

转载地址：http://lcafk.baihongyu.com/