kafka概述
  qWtKkk3MNO86 2023年11月02日 66 0
数据的采集,实时的反馈信息,能够支撑大量的数据,高容错

由Linkedin公司研发
分布式  发布和订阅  海量日志采集系统        

工作模式:发布和订阅 ,将采集的数据存储到内部的消息队列中,在有效的时间内不会失效

特点:
    高吞吐量:每秒处理数十万条消息,和分布式kafka规模有关(broker的个数)
    缓存TB级别数据量
    支持分区,支持压缩... ...


分布式:易扩展,高容错 
    由producer生产者、broker代理、consumer消费者组成 ,三者的个数不定
    生产者:flume/java程序/service
    消费者:storm/hbase/hdfs
    代理节点:broker  , 缓存kafka中传递的数据到broker节点上      

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
qWtKkk3MNO86