解决pyspark报错Could not serialize object: IndexError: tuple index out of range
  i5PXYMguW5JV 2023年11月30日 20 0

版权

在使用pyspark的时候,遇到了如下问题:

Could not serialize object: IndexError: tuple index out of range

代码如下:

from pyspark import SparkContext
import os
import logging
logging.basicConfig(level=logging.ERROR)

from pyspark.sql import SparkSession,Row

ss = SparkSession.builder.appName("rdd").master("local[2]").getOrCreate()
# user_df = ss.createDataFrame([(1,'Tom',22),(2,'Lucy',18),(3,'Nick',21)],['id','name','age'])
# print(user_df.show())
Person = Row("id", "name", "age", "weight")
user_row_df = ss.createDataFrame([Person(1,"tom",21,75.5), Person(2, "lucy", 18, 50.0)])
print(user_row_df.show())

报错信息如下:

解决pyspark报错Could not serialize object: IndexError: tuple index out of range_Python

错误原因:

Python版本过高,更换为较低的版本即可解决问题(推荐3.7,3.8版本)

解决pyspark报错Could not serialize object: IndexError: tuple index out of range_Python_02

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月30日 0

暂无评论

推荐阅读
  F36IaJwrKLcw   2023年12月23日   26   0   0 idesparkidesparkDataData
i5PXYMguW5JV