如何将熊猫转换为 PySpark 数据帧？

原文:https://www . geesforgeks . org/如何将熊猫转换为 pyspark-dataframe/

在本文中，我们将学习如何将熊猫转换为 PySpark 数据帧。有时我们会得到 csv、xlsx 等。格式化数据，我们必须将其存储在 PySpark 数据帧中，这可以通过将数据加载到 Pandas 中，然后转换为 PySpark 数据帧来完成。为了进行转换，我们将熊猫数据帧传递给 CreateDataFrame()方法。

语法: spark.createDataframe(数据，架构)

参数:

  • Data–Create a list of values for the data frame.
  • Schema-a list of data set structures or column names.

这里的火花就是 SparkSession 对象。

示例 1:创建一个数据帧，然后使用 spark.createDataFrame()方法进行转换

python 3

# import the pandas
import pandas as pd

# from  pyspark library import 
# SparkSession
from pyspark.sql import SparkSession

# Building the SparkSession and name
# it :'pandas to spark'
spark = SparkSession.builder.appName(
  "pandas to spark").getOrCreate()

# Create the DataFrame with the help 
# of pd.DataFrame()
data = pd.DataFrame({'State': ['Alaska', 'California',
                               'Florida', 'Washington'],

                     'city': ["Anchorage", "Los Angeles", 
                              "Miami", "Bellevue"]})

# create DataFrame
df_spark = spark.createDataFrame(data)

df_spark.show()

版权属于：月萌API www.moonapi.com，转载请注明出处

本文链接：https://www.moonapi.com/news/14690.html