bytewax python 流处理框架
  8KhYbgszLLmZ 2023年11月24日 46 0

bytewax python 流处理框架,支持批以及流处理,内部使用了timely-dataflow rust 库
bytewax 支持的模式主要是多worker 以及多process 核心还是单机场景,暂时不支持
多主机的集群模式,同时对于状态的存储以及recovery 使用了sqlite

说明

以前我也介绍过一个基于rust 的流处理引擎arroyo,目前发展很快,而且很强大,对于单机场景
bytewax 是一个值得试用的,集群环境arroyo 也是不错的选择

参考资料

https://github.com/bytewax/bytewaxhttps://docs.bytewax.io/

https://doc.arroyo.dev/introduction

https://github.com/ArroyoSystems/arroyo

https://github.com/TimelyDataflow/timely-dataflow

https://bytewax.io/docs/getting-started/design-patterns

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月24日 0

暂无评论

推荐阅读
8KhYbgszLLmZ