利用kibana的快照存储库备份es索引 1.快照存储库备份es索引 es的索引库也是需要备份的，我们可以通过kibana上的快照存储库，给索引每天创建快照，定时备份 注意：使用nfs作为索引备份存储路径时，一定要为存储路径的属组和属主全部改成elasticsearch，否则会报没权限 但是修改属主属组有个问题，有的es集群的elasticsearch用户的uid和其他的会不同，这时就导致在nfs上改了属主属组但是在某个es节点不识别这个uid，这也会导致没权限，最好的解决办法就是在es安装的时候首先创建elasticsearch用户并且制定uid号，这样就能保证有权限使用nfs存储了 针对e...

ELK终极架构 (ELK终极架构) 1.ELK终极架构图 最接近终极的架构图就是我们从redis中读取收集来的日志最后由logstash存储到es库，但是这个架构有个缺陷假如redis挂掉，我们就无法收集日志了 redis单点问题，我们可以通过集群的方式来实现，但是redis的三种集群模式，除了主从复制，其他两个集群，filebeat均不支持将数据写入集群，但是主从复制又有弊端，假如主节点挂掉，还需要通过命令的方式把从节点改为可读可写 filebeat支持kafka集群的写入，但是kafka不太熟悉，我们还是用redis来实现 我们可以配置两个单独的redis，在通过nginx四层负载均衡+...

1.MongoDB副本集介绍 MongoDB的副本集就是主从复制，由于之前3.0版本之前就有主从复制的说法，后来更新迭代，起名叫副本集 副本集建议最少3台机器，一个主及诶单，两个从节点，如果是偶数台机器，需要在部署一个仲裁节点，否则会这导致集群选举异常 副本集（ReplicaSet）是一组MongoDB实例组成的集群，由一个主（Primary）服务器和多个备份（Secondary）服务器构成。通过复制（Replication），将数据的更新由Primary推送到其他实例上，在一定的延迟之后，每个MongoDB实例维护相同的数据集副本。通过维护冗余的数据库副本，能够实现数据的异地备份，读写分离和...

MongoDB数据库的备份恢复 1.mongodb备份还原工具 定时备份/全量备份 ​备份：mongodump ​还原：mongorestore ​备份格式：bson/gzip分析数据/迁移数据 ​备份：mongoexport ​还原：mongoimport ​备份格式：jsoncsv 2.mongoexport备份还原某个库的某张表 2.1.备份还原语法格式 mongoexport备份 mongoexport备份某个表语法格式：mongoexport--port端口号-d库名-c表名-o备份文件路径.json mongoexport备份某个表csv格式：mongoexport--port端口...

MongoDB数据库授权认证 1.与用户相关的命令 db.auth()将用户验证到数据库。 db.changeUserPassword()更改现有用户的密码。 db.createUser()创建一个新用户。 db.dropUser()删除单个用户。 db.dropAllUsers()删除与数据库关联的所有用户。 db.getUser()返回有关指定用户的信息。 db.getUsers()返回有关与数据库关联的所有用户的信息。 db.grantRolesToUser()授予用户角色及其特权。 db.removeUser()已过时。从数据库中删除用户。 db.revokeRolesFromUser...

Iptables防火墙的基本概念以及执行原理 1.1.什么是防火墙？ 所谓“防火墙”是指一种将内部网和公众访问网（如Internet）分开的方法，它实际上是一种建立在现代通信网络技术和信息安全技术基础上的应用性安全技术，隔离技术。越来越多地应用于专用网络与公用网络的互联环境之中，尤其以接入Internet网络为最甚。 所谓的防火墙指的是一种手段，通过这种手段可以将暴露在公共环境下的物种，起到一定的保护机制。 在如今的互联网环境中，所有的服务、数据、信息都暴露在物联网中，如果没有这种隔离的手段，那么对于数据的安全有着非常大的隐患，因此就需要通过防火墙的这种隔离手段，设置一定的策略和动作，将能...

Iptables防火墙的四表五链概念以及使用技巧 1.链的概念 在防火墙中，用户想要成功进入内网环境，就需要发送请求报文，请求报文要和防火墙设置的各种规则进行匹配和判断，最后执行相应的动作（放行或者拒绝），一个防火墙中通常针对不同的来源设置很多种策略，多个策略形成一个链，其实也可以理解成是分组的概念，在Iptables防火墙中针对不同的链路共分为五种不同的链。 如下图所示，当数据报文进入链之后，首先匹配第一条规则，如果第一条规则通过则访问，如果不匹配，则接着向下匹配，如果链中的所有规则都不匹配，那么就按照链的默认规则处理数据报文的动作。 2.Iptables五种链的概念 Iptables有五种...

Iptables防火墙基本匹配条件应用 应用匹配条件时，经常会用到以下几个参数。 -p：指定要操作的协议类型，不指定-p参数声明是那种协议，默认是all，也就是所有协议。 -s：指定源地址。 -d：指定目标地址。 --sport：指定源端口. --dport：指定目标端口。 -i：指定从哪个网卡进入的报文。 -o：指定从哪个网卡出去的报文。 -m： -j：指定策略的动作。 基本匹配条件案例一 需求：仅允许192.168.20.21访问192.168.20.20的80端口，其余的来源客户端都拒绝访问。 明确需求后，下面来分析应该如何实现。 这条需求分包含两种不同的条件，首先是允许192.1...

1.消息可靠性保障 在实际生产环境中，可能会由于网络问题导致消息接收异常产生某种影响，基于这种情况我们需要保障消息的可靠性。 RabbitMQ中的消息可靠性也称为消息补偿，如下图所示，可以保证消息的可靠性。 分为9种种步骤实现消息补偿 1、生产者处理业务逻辑，将数据写入到数据库。 2、生产者将业务数据写入数据库后，向Q1消息队列发送消息数据。 3、生产者向Q1发送完消息数据后，过段时间后，会发送一个延迟消息到达Q3队列。 4、消费者从Q1队列中读取消息数据。 5、读取消息数据后，消费者根据业务逻辑向数据库中写入数据。 6.、消费者充当发布者的身份向Q2队列写入一条确认收到消息的数据，表示消费...

ELK+Kafka+Filebeat日志系统 1.环境规划 IP地址 部署的服务 主机名 192.168.81.210 es+kafka+zookeeper+kibana+logstash elk-1 192.168.81.220 es+kafka+zookeeper elk-2 192.168.81.230 es+kafka+zookeeper+nginx+filebeat elk-3 日志系统架构图 nginx--->filebeat--->kafka--->logstash--->elasticsearch--->kibana ...