在pyspark中读取HDFS数据可以通过以下步骤实现:
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName("Read HDFS Data") \
.getOrCreate()
df = spark.read.csv("hdfs://<namenode>:<port>/path/to/file.csv")
其中,"hdfs://
df.printSchema()
df.show()
spark.stop()
通过以上步骤,就可以在pyspark中读取HDFS数据了。
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
相关推荐:spark怎么读取hdfs数据