一、背景 Kafka的位点提交一直是Consumer端非常重要的一部分，业务上我们经常遇到的消息丢失、消息重复也与其息息相关。位点提交说简单也简单，说复杂也确实复杂，没有人能用一段简短的话将其说清楚，最近团队生产环境便遇到一个小概率的报错 “Offsetcommitfailedwitharetriableexception.Youshouldretrycommittingthelatestconsumedoffsets.Thecoordinatorisnotavailable.” 此错误一出，Consumer的流量直接跌0，且无法自愈，虽然客户端重启后可自动恢复，但影响及损失还是非常巨大的...

一、背景 在Kafka的组成部分（Broker、Consumer、Producer）中，设计理念迥异，每个部分都有自己独特的思考。而把这些部分有机地组织起来，使其成为一个整体的便是「网络传输」。区别于其他消息队列的方式（RocketMQ处理网络部分直接使用成熟的组件Netty），Kafka则是直接对java的NIO进行了二次包装，从而实现了高效的传输 然而处理网络相关的工作是非常复杂的，本文我们只聚焦于网络传输的Producer端，而Producer端也只聚焦在消息发送的部分，使用场景带入的方式来分析一下消息发送的环节，Producer是如何将其扔给网络并发送出去的 二、概述 我们首先回想...

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage 译者：KafkaKIP-405是一篇非常优秀的多层存储的设计稿，不过此设计稿涉及内容很多，文章量大、严谨、知识点诸多。我们国内还没有对其有相对完整的译文，面对如此上乘的文章，译者想降低其门槛，让国内更多的人了解其设计，因此花费了诸多时间精力将此文进行了全文翻译，同时有一些可能让人产生疑惑的技术细节，译者也都打上了注释，希望可以帮助更多的人。当然如果有一些Kafka基础，且英文阅读流畅的话，译者还是建议去看原文 背...

一、背景 周所周知，Kafka是一个非常成熟的消息产品，开源社区也已经经历了多年的不断迭代，特性列表更是能装下好几马车，比如：幂等消息、事务支持、多副本高可用、ACL、AutoRebalance、HW、LeaderEpoch、TimeIndex、ProducerSnapshot、Stream、Connector、多级存储、MirrorMaker、消息压缩、FetchSession、Metrics、Quota等等，Kafka的特性列表真要往出列的话，可能会占满半个屏幕 然后我们今天不去探讨这些“炫酷”的feature，只将目光聚焦在消息的生产、存储、消费上，同时这3个功能也是大部分用户接触最多...

一、前言 我们需要对4个规格的kafka能力进行探底，即其可以承载的最大吞吐；4个规格对应的单节点的配置如下： 标准版：2C4G 铂金版：4C8G 专业版：8C16G 企业版：16C32G 另外，一般来讲，在同配置下，kafka的读性能是要优于写性能的，写操作时，数据要从网卡拷贝至堆内存，然后进行一堆数据校验、解析后，会将数据拷贝至堆外内存，然后再拷贝至操作系统的pagecache，最后操作系统异步刷盘至设备中。而读操作时，kafka使用了零拷贝技术，数据会从disk或pagecache直接拷贝到网卡，节省了大量的内存拷贝。因此我们这次探底将聚焦于链路的短板，即kafka的写操作进行压测...

一、背景 时间大概是在夏天7月份，突然收到小伙伴的情报，我们线上的一个kafka实例的某个broker突然不提供服务了，也没看到什么异常日志，反正就是生产、消费都停了。因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下stack信息，先重启吧 因为这个现象是第一次出现，不确定是哪里的bug，操作系统、机器等都有可能。当时也没重视这个问题，判断可能是个偶发现象，broker重启恢复后，因为业务繁忙，就把这事儿给搁置了 然而仅仅2个月后，这个问题又复现了，而且与上次出问题的机器不是同一台，我知道这次没法视而不见，可能要打一场硬仗了 下面是一些环境信息 工程 版本 ...

说起加密算法，大的分类上，常规区分通常会区分为对称加密与非对称加密两种，两种算法都各有优缺点。然而互联网发展到今天，应用更广的还是非对称加密的方式，而非对称加密中，RSA又首当其中，被广泛运用到各类应用中。本人作为一个标准的Javer，一直对RSA细节没有深入探究，本文算是对该算法的一个浅析，其中涉及大量的数据公式推导，当遇到大家耳熟能详的数据公式（例如费马定理）时，便不再展开 一、对称加密 关于对称加密，网络的释义很多，有的博主将其定义为“加密和解密使用同一个秘钥就是对称加密”。这样的定义一般值得都是算法透明，密钥不透明的场景，例如加解密双方使用的都是DES算法，在密文传递的同时，密钥也需...