cloudpickle pickle 扩展包
  8KhYbgszLLmZ 2023年11月02日 38 0

pickle 是python的序列化包,但是默认pickle 不能进行lambda 的处理,cloudpickle 对于pickle 进行了一些扩展,可以更好的支持
集群节点之间的共享以及计算,同时apache spark 的pyspark 也集成了此功能,只是是自己fork的完整代码

参考使用

  • dump.py

 


import cloudpickle,pickle
 
squaredv2 = lambda x: x ** 2
 
pickled_class_origin = cloudpickle.dumps(squaredv2)
 
new_squared = pickle.loads(pickled_class_origin)
 
print(new_squared(2))
  • 效果

cloudpickle  pickle 扩展包_github

如果是默认的pickle dump 会提供错误的

说明

实际上不少python 项目都会集成cloudpickle 比如ray 也集成了

参考资料

https://github.com/cloudpipe/cloudpickle
https://docs.python.org/3/library/pickle.html
https://github.com/ray-project/ray/tree/master/python/ray/cloudpickle

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
8KhYbgszLLmZ