Elasticsearch
Elasticsearch是一个实时的全文搜索,存储库和分析引擎
https://www.elastic.co/cn/what-is/elasticsearch
Elasticsearch 在速度和可扩展性方面都表现出色,而且还能够索引多种类型的内容,可用于多种场景：
应用程序搜索 网站搜索 企业搜索 日志处理和分析 基础设施指标和容器监测 应用程序性能监测 地理空间数据分析和可视化 安全分析 业务分析
Elasticsearch 部署和管理
https://www.elastic.co/guide/en/elasticsearch/reference/master/installelasticsearch.html
1、安装前准备
安装前初始化环境
CPU 2C内存4G或更多
操作系统： Ubuntu20.04，Ubuntu18.04，Rocky8.X，Centos 7.X
操作系统盘50G
主机名设置规则为nodeX.wang.org
生产环境建议准备单独的数据磁盘
1、主机名
各服务器配置自己的主机名
[root@ubuntu2004 ~]# hostnamectl set-hostname es-node1.wang.org
2、关闭防火墙和SELinux
关闭防所有服务器的防火墙和 SELinux
[root@es-node1 ~]# systemctl disable firewalld
[root@es-node1 ~]# systemctl disable NetworkManager
[root@es-node1 ~]# set -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config [root@es-node1 ~]# reboot
3、各服务器配置本地域名解析
[root@es-node1 ~]# vim /etc/hosts
10.0.0.101 es-node1.wang.org
10.0.0.102 es-node2.wang.org
10.0.0.103 es-node3.wang.org
4、优化资源限制配置
修改内核参数
内核参数 vm.max_map_count 用于限制一个进程可以拥有的
使用默认系统配置,二进制安装时会提示错误,包安装会自动修改此配置
#查看默认值
[root@es-node1 ~]# sysctl -a |grep vm.max_map_count
vm.max_map_count = 65530
#修改配置
[root@es-node1 ~]# echo "vm.max_map_count = 262144" >> /etc/sysctl.conf
[root@es-node1 ~]# sysctl -p
Ubuntu 基于包安装后会自动修改文件
[root@node1 ~]# cat /usr/lib/sysctl.d/elasticsearch.conf
vm.max_map_count=262144
5、修改资源限制配置，把下面内容粘贴到文件中
[root@es-node1 ~]#vim /etc/security/limits.conf
* soft core unlimited
* hard core unlimited
* soft nproc 1000000
* hard nproc 1000000
* soft nofile 1000000
* hard nofile 1000000
* soft memlock 32000
* hard memlock 32000
* soft msgqueue 8192000
* hard msgqueue 8192000
6、安装 Java 环境 (可选)
安装7.X以后版本官方建议要安装集成JDK的包,所以无需再专门安装JDK
2、下载安装包，包安装(清华源下载、安装)
1、下载[root@es-node1 ~]# https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/apt/pool/main/e/elasticsearch/elasticsearch-7.17.5-amd64.deb
2、安装
[root@es-node1 ~]# dpkg -i elasticsearch-7.17.5-amd64.deb
[root@es-node1 ~]# systemctl daemon-reload
[root@es-node1 ~]# systemctl enable --now elasticsearch.service
3、查看端口号
[root@es-node1 ~]# ss -ntl
9200端口
3、修改配置文件
[root@es-node1 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
#ELK集群名称,单节点无需配置,同一个集群内每个节点的此项必须相同,新加集群的节点此项和其它节点相同即可加入集群,而无需再验证
cluster.name: ELK-Cluster
#当前节点在集群内的节点名称,同一集群中每个节点要确保此名称唯一
node.name: es-node1 #ES
数据保存目录,包安装默认路径：/var/lib/elasticsearch/
path.data: /data/es-data
#ES日志保存目录,包安装默认路径：/var/llog/elasticsearch/
path.logs: /data/es-logs
#服务启动的时候立即分配(锁定)足够的内存,防止数据写入swap,提高启动速度,但是true会导致启动失败,需要优化
bootstrap.memory_lock: true
#指定该节点监听IP,如果绑定了错误的IP,可将此修改为指定IP
network.host: 0.0.0.0
#监听端口
http.port: 9200
#发现集群的node节点列表,可以添加部分或全部节点IP
#在新增节点到已有集群时,此处需指定至少一个已经在集群中的节点地址
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
#集群初始化时指定希望哪些节点可以被选举为 master,只在初始化时使用,新加节点到已有集群时此项可不配置 cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]
#一个集群中的 N 个节点启动后,才允许进行数据恢复处理,默认是1,一般设为为所有节点的一半以上,防止 出现脑裂现象 #当集群无法启动时,可以将之修改为1,或者将下面行注释掉,实现快速恢复启动 gateway.recover_after_nodes: 2
#设置是否可以通过正则表达式或者_all匹配索引库进行删除或者关闭索引库,默认true表示必须需要明确指定索引库名称,不能使用正则表达式和_all,生产环境建议设置为 true,防止误删索引库. action.destructive_requires_name: true
#如果不参与主节点选举设为false,默认值为true
node.master: false
#存储数据,默认值为true,此值为false则不存储数据而成为一个路由节点 #如果将原有的true改为false,需要先执行/usr/share/elasticsearch/bin/elasticsearch-node repurpose 清理数据
node.data: true
4、范例: 单节点配置
[root@ubuntu2004 ~]# grep -v '#' /etc/elasticsearch/elasticsearch.yml
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
node.name: node-1
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.100"]
cluster.initial_master_nodes: ["node-1"]
5、范例: 集群配置
[root@es-node1 ~]# grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml
cluster.name: es-cluster #集群名一样
node.name: es-node1 #当前节点在集群中的名称
path.data: /data/es-data #数据保存目录
path.logs: /data/es-logs #日志
bootstrap.memory_lock: true #启动服务时立即分配足够的内存，防止数据写入swap，提高启动速度
network.host: 0.0.0.0 #对外监听地址
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]#开机加入的集群节点 cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]#初始化是哪些可被选为主
gateway.recover_after_nodes: 2 #集群中有多少个节点正常工作才允许集群对外提供服务，一半以上
action.destructive_requires_name: true #避免通过正则表达式进行删除或关闭索引库
6、把配置文件拷贝到其他节点并修改
[root@es-node1 ~]# scp /etc/elasticsearch/elasticsearch.yml es-node2:/etc/elasticsearch/
[root@es-node1 ~]# scp /etc/elasticsearch/elasticsearch.yml es-node3:/etc/elasticsearch/
修改
[root@es-node2 ~]# grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml
cluster.name: es-cluster
node.name: es-node2 #只需要修改此行,每个节点都不能相同
path.data: /data/es-data
path.logs: /data/es-logs
bootstrap.memory_lock: true
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2
action.destructive_requires_name: true
[root@es-node3 ~]# grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml
cluster.name: es-cluster
node.name: es-node3 #只需要修改此行,每个节点都不能相同
path.data: /data/es-data
path.logs: /data/es-logs
bootstrap.memory_lock: true
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2
action.destructive_requires_name: true
7、内存优化
推荐使用宿主机物理内存的一半,ES的heap内存最大不超过30G,26G是比较安全的
堆内存的初始值和最大值设置一样，
[root@es-node1 ~]# vim /etc/elasticsearch/jvm.options
-Xms30g
-Xmx30g
8、修改service文件,做优化配置
[root@es-node1 ~]# vim /usr/lib/systemd/system/elasticsearch.service #修改内存限制 LimitNOFILE=1000000 #修改最大打开的文件数,默认值为65535
LimitNPROC=65535 #修改打开最大的进程数,默认值为4096
LimitMEMLOCK=infinity #无限制使用内存,以前旧版需要修改,否则无法启动服务,当前版本无需修改
9、自己指定的数据存放目录，更改目录权限
在各个ES服务器创建数据和日志目录并修改目录权限为elasticsearch
#此步可选,可以不用创建下面目录es-data和es-logs,系统可以自动创建
[root@es-node1 ~]# mkdir -p /data/es-{data,logs}
#必须分配权限,否则服务无法启动
[root@es-node1 ~]# chown -R elasticsearch.elasticsearch /data/
[root@es-node1 ~]# ll /data/
total 0
drwxr-xr-x 2 elasticsearch elasticsearch 6 Apr 18 18:44 es-data
drwxr-xr-x 2 elasticsearch elasticsearch 6 Apr 18 18:44 es-logs
启动服务
[root@es-node1 ~]# systemctl enable --now elasticsearch
9200端口为集群访问端口，9300端口为集群同步端口
二进制安装
下载二进制文件
https://www.elastic.co/cn/downloads/elasticsearch
范例：基于二进制包含JDK文件安装
[root@ubuntu2004 ~]#ls
elasticsearch-7.6.2-linux-x86_64.tar.gz
[root@ubuntu1804 ~]#tar xf elasticsearch-7.6.2-linux-x86_64.tar.gz -C /usr/local/ [root@ubuntu1804 ~]#ls /usr/local/
bin elasticsearch-7.6.2 etc games include lib man sbin share src
[root@ubuntu2004 ~]#ln -s /usr/local/elasticsearch-7.6.2/ /usr/local/elasticsearch [root@ubuntu2004 ~]#ls /usr/local/elasticsearch
bin config jdk lib LICENSE.txt logs modules NOTICE.txt plugins README.asciidoc
编辑服务配置文件
[root@es-node1 ~]# grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml
cluster.name: es-cluster #集群名一样
node.name: es-node1 #当前节点在集群中的名称
path.data: /data/es-data #数据保存目录
path.logs: /data/es-logs #日志
bootstrap.memory_lock: true #启动服务时立即分配足够的内存，防止数据写入swap，提高启动速度
network.host: 0.0.0.0 #对外监听地址
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]#开机加入的集群节点 cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]#初始化是哪些可被选为主
gateway.recover_after_nodes: 2 #集群中有多少个节点正常工作才允许集群对外提供服务，一半以上
action.destructive_requires_name: true #避免通过正则表达式进行删除或关闭索引库
把配置文件拷贝到其他节点并修改
[root@es-node1 ~]# scp /etc/elasticsearch/elasticsearch.yml es-node2:/etc/elasticsearch/
[root@es-node1 ~]# scp /etc/elasticsearch/elasticsearch.yml es-node3:/etc/elasticsearch/
修改
[root@es-node2 ~]# grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml
cluster.name: es-cluster
node.name: es-node2 #只需要修改此行,每个节点都不能相同
path.data: /data/es-data
path.logs: /data/es-logs
bootstrap.memory_lock: true
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2
action.destructive_requires_name: true
[root@es-node3 ~]# grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml
cluster.name: es-cluster
node.name: es-node3 #只需要修改此行,每个节点都不能相同
path.data: /data/es-data
path.logs: /data/es-logs
bootstrap.memory_lock: true
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2
action.destructive_requires_name: true
内存优化
推荐使用宿主机物理内存的一半,ES的heap内存最大不超过30G,26G是比较安全的
堆内存的初始值和最大值设置一样，
[root@es-node1 ~]# vim /etc/elasticsearch/jvm.options
-Xms30g
-Xmx30g
创建用户并更改目录权限
在所有节点上创建用户
[root@es-node1 ~]# useradd -r elasticsearch
在所有节点上创建数据和日志目录并修改目录权限为elasticsearch
#此步可选,可以不用创建下面目录es-data和es-logs,系统可以自动创建
[root@es-node1 ~]# mkdir -p /data/es-{data,logs}
#必须分配权限,否则服务无法启动
[root@es-node1 ~]# chown -R elasticsearch.elasticsearch /data/
[root@es-node1 ~]# ll /data/
total 0
drwxr-xr-x 2 elasticsearch elasticsearch 6 Apr 18 18:44 es-data
drwxr-xr-x 2 elasticsearch elasticsearch 6 Apr 18 18:44 es-logs
#修改elasticsearch安装目录权限
[root@es-node1 ~] #chown -R elasticsearch.elasticsearch /usr/local/elasticsearch/
启动 Elasticsearch服务
在所有节点上配置并启动
[root@es-node1 ~]#echo 'PATH=/usr/local/elasticsearch/bin:$PATH' > /etc/profile.d/elasticsearch.sh
[root@es-node1 ~]#. /etc/profile.d/elasticsearch.sh
[root@es-node1 ~]#tail -f /data/es-logs/es-cluster.log
#不能以root用户运行,切换用户
[root@es-node1 ~]#su - elasticsearch
验证端口监听成功
在所有节点上验证端口
[root@es-node1 ~]#ss -ntlp|grep java
LISTEN 0 128 *:9200 *:* users:(("java",pid=2372,fd=225)) LISTEN 0 128 *:9300 *:* users:(("java",pid=2372,fd=211))
创建service文件
[root@ubuntu-node1 ~]#grep -Ev '^$|#' /usr/lib/systemd/system/elasticsearch.service [Unit]
Description=Elasticsearch
Documentation=https://www.elastic.co
Wants=network-online.target
After=network-online.target
[Service]
Type=notify
RuntimeDirectory=elasticsearch
PrivateTmp=true
Environment=ES_HOME=/usr/share/elasticsearch Environment=ES_PATH_CONF=/etc/elasticsearch Environment=PID_DIR=/var/run/elasticsearch
Environment=ES_SD_NOTIFY=true
EnvironmentFile=-/etc/default/elasticsearch WorkingDirectory=/usr/share/elasticsearch
User=elasticsearch
Group=elasticsearch
ExecStart=/usr/share/elasticsearch/bin/systemd-entrypoint -p ${PID_DIR}/elasticsearch.pid --quiet
StandardOutput=journal
StandardError=inherit
LimitNOFILE=65535
LimitNPROC=4095
LimitAS=infinity
LimitFSIZE=infinity
TimeoutStopSec=0
KillSignal=SIGTERM
KillMode=process
SendSIGKILL=no
SuccessExitStatus=143
TimeoutStartSec=75
[Install]
WantedBy=multi-user.target
[root@es-node1 ~]#systemctl daemon-reload
[root@es-node1 ~]#systemctl enable --now elasticsearch.service
基于Docker部署
单节点部署
[root@ubuntu2004 ~]#docker run --name es-single-node -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.6.2
多节点集群部署
部署前准备 注意：此方式需要3G以上内存,否则会出现OOM的信息
修改内核参数,默认无法启动,会出现错误提示
[root@ubuntu1804 ~]#echo vm.max_map_count=262144 >> /etc/sysctl.conf [root@ubuntu1804 ~]#sysctl -p
创建docker-compose.yml文件
[root@ubuntu2004 ~]#cat docker-compose.yml
version: '2.2'
services:
es01:
image: docker.elastic.co/elasticsearch/elasticsearch:7.5.2
container_name: es01
environment:
- node.name=es01
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es02,es03
- cluster.initial_master_nodes=es01,es02,es03
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- data01:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- elastic
es02:
image: docker.elastic.co/elasticsearch/elasticsearch:7.5.2
container_name: es02
environment:
- node.name=es02
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es01,es03
- cluster.initial_master_nodes=es01,es02,es03
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- data02:/usr/share/elasticsearch/data
networks:
- elastic
es03:
image: docker.elastic.co/elasticsearch/elasticsearch:7.5.2
container_name: es03
environment:
- node.name=es03
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es01,es02
- cluster.initial_master_nodes=es01,es02,es03
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- data03:/usr/share/elasticsearch/data
networks:
- elastic
volumes:
data01:
driver: local
data02:
driver: local
data03:
driver: local
networks:
elastic:
driver: bridge
启动集群
[root@ubuntu2004 ~]#docker-compose up -d
