modin pandas 大规模数据处理方案
  8KhYbgszLLmZ 2023年11月17日 31 0

modin 是一个可以快速替换原生pandas 的方案,我们只需要替换一个简单的引用,就可以将pandas 的数据处理速度有很大的提升
modin 支持与不少框架的集成(ray, dask,unidisk),目前modin 对于常用read 操作都有很不错的支持,参考图

modin pandas 大规模数据处理方案_html

参考架构

如下图,可以看出modin 的扩展能力还是很强大的

modin pandas 大规模数据处理方案_参考资料_02

 

说明

对于需要进行数据处理(比如机器学习场景modin 是一个很不错的工具)

参考资料

https://github.com/modin-project/modinhttp://modin.readthedocs.io/

https://modin.readthedocs.io/en/latest/getting_started/why_modin/why_modin.html

https://modin.readthedocs.io/en/latest/getting_started/why_modin/modin_vs_dask_vs_koalas.html

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月17日 0

暂无评论

推荐阅读
  wURKzOHw9Irf   2023年12月24日   29   0   0 HTMLicoicohtml
  8l4CZpTOKa7P   2023年12月26日   40   0   0 htmlhtml
  dwHry2iKGG0I   2023年12月26日   31   0   0 githubgithubhtmlhtml
8KhYbgszLLmZ