构造原始数据 先写一个GenLocalLog程序（随意，主要是个for循环），生成格式为“用户id，访问时间，IP地址，响应码，访问接口”这样5字段的测试日志，共计100000条记录： 如图：青色、橙色、黄色、绿色和紫色分别是对应的示例数据，模拟实际情况。 数据示例如下，采用空格分隔，当然也可以生成时直接用逗号分隔，变成csv文件。 142e307b-bf31-4c20-a979-87c153350e642020-11-17T10:12:1333.60.47.29500/login 19050e5b-4160-436e-bc3c-569c5f1436cc2019-05-04T10:12...

ElasticSearch并没有对分片数量和大小做硬性限制，但分片的设置对ES后期的顺畅使用又至关重要，那么最常见的2个问题： 纯干货 “我应该设置多少个分片？答：最大20个分片/GB内存” “我应该设置多大的分片？答：小于50GB，但最好大于1GB。” 分片是Elasticsearch在集群内分发数据的单位。Elasticsearch在对数据进行再平衡（例如发生故障后）时移动分片的速度取决于分片的大小和数量，以及网络和磁盘性能。 分片背后的机制： 数据写到分片上之后，会定期发布到磁盘上不可更改的新Lucene段中，此时，数据便可用于查询了。这称为刷新。 随着段数越来越多，这些段会定期合...

在搭建正式的生产集群之前，充分做好硬件和服务器配置以及集群规划是重中之重，磨刀不误砍柴工。 硬件配置推荐 内存 ES排序以及聚合都是高度需求内存的。单机（单节点）64GB是很理想的配置，32GB或16GB也很常见。 不推荐低于8GB，性价比较低，适得其反（很多的小机器也不划算）。 JVM堆内存：存储关于集群、索引、分片、段和Fielddata的元数据。该项较为理想的设置是可用RAM的50%。所以上面的64GB内存并不是直接分给ES的heapsize。 【重要】ES_HEAP_SIZE这个值最大设置30GB，其余的留给OS，因Lucene还要使用offheap并依赖系统缓存。 Lucene...

背景 在使用RDMA网卡搭建集群时，发现有的节点能够识别RDMA网卡，有的无法识别，差别在于内核版本不同，CentOS8的机器可以直接使用，而CentOS7的系统因为没有默认的驱动导致网络连接异常。 官网驱动下载安装 访问开发者支持网站https://developer.nvidia.com/networking/infiniband-software 下翻到快速链接，点击第一个进去： 找到对应的系统架构版本，这里选择上面的LTS版本进行下载。需要依次选择CentOS->7.4->x86_64，最后选择使用iso文件还是tgz包，我选择tgz包。 这里下载tar包解压...