Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据
  LAT25BeqN9yq 2023年11月02日 50 0

所需文件下载路径 提取码:mv88

提取码:mv88

Step 1:Windows下的JAVA环境配置

Elasticsearch 是需要JAVA_JDK环境  请自行下载并完成相关配置

Step 2:下载安装Elasticsearch

Elasticsearch下载地址

下载ZIP,下载完成之后进行解压,解压完毕之后进入:安装目录/bin之后运行elasticsearch.bat

出现此界面表示启动成功

Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据_bc


在浏览器输入localhost:9200,看到这样的显示,就是ES启动成功了。

Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据_数据库_02

如果想让elasticsearch被第三方工具elasticsearch-head所访问连接需要在:安装目录/config/elasticsearch.yml 添加两行

Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据_bc_03

如果需要对ES进行ik分词则需要下载一个elasticsearch-analysis-ik-6.2.4并把它解压到elasticsearch安装目录下的plugins目录中

Step 3:下载安装Kibana管理调试工具

Kibana下载地址

下载WINDOWS,下载完成之后进行解压,解压完毕之后进入:安装目录/config/
kibana.yml  添加一行  

Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据_elasticsearch_04

修改完毕进入:安装目录/bin之后运行kibana.bat,出现此界面表示启动成功

Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据_elasticsearch_05

在浏览器输入localhost:5601,看到这样的显示,就是Kibana启动成功了。
点击Dev Tools即可开始es相关操作

Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据_elasticsearch_06

安装部署Logstash前需要创建一个索引和文档  格式如下:

PUT user   //索引名称
{
  "settings": {
    "number_of_replicas": 1,   //副本数量
    "number_of_shards": 5	//分片数量
  },
  "mappings": {	
    "item":{		//文档名称
      "properties":{		//properties下有很多属性 要求对应数据库属性
        "id":{		//属性名称
          "type":"integer"	//属性类型
        },
        "usercode":{
          "type":"text"
        },
        "username":{
          "type":"text",
          "analyzer":"ik_max_word"	//这是一个ik分词器
        },
        "gender":{
          "type":"integer"
        },
        "birthday":{
          "type":"date"
        },
        "phone":{
          "type":"text"
        },
        "address":{
          "type":"text",
          "analyzer": "ik_max_word"
        },
        "userrole":{
          "type":"text"
        }
      }
    }
  }
}
Step 4:安装部署Logstash

Logstash下载地址

下载ZIP,下载完成之后进行解压。
因为logstash是通过JDBC型输入,ES型输出。所以我们要下载一个Java的JDBC驱动,我示例连接的是MYSQL数据库,所以我下载的是 mysql-connector-java-5.1.46.jar,请自行下载并把Jar包放到:安装目录/bin 下。

我们还要在:安装目录/bin下创建一个logstash.conf的配置文件  文件大致内容如下:

input {
  jdbc {
          # mysql jdbc connection string to our backup databse
          # the user we wish to excute our statement as
          jdbc_connection_string => "jdbc:mysql://ip地址:数据库端口号/数据库名称"
          jdbc_user => "数据库账号"
          jdbc_password => "数据库密码"
          # the path to our downloaded jdbc driver
          jdbc_driver_library => "数据库驱动jar文件的目录"
          # the name of the driver class for mysql
          jdbc_driver_class => "com.mysql.jdbc.Driver"
          jdbc_paging_enabled => "是否开启分页  默认true"
          jdbc_page_size => "每页显示多少条数据"
          #以下对应着要执行的sql的绝对路径。
          #statement_filepath => "sql文件的路径"
          statement => "SQL语句(原数据库查询的)"
          #定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新(测试结果,不同的话请留>言指出)
      schedule => "* * * * *"
  }
}

output {
  elasticsearch {
          #ESIP地址与端口
          hosts => "http://要输入的ESIP地址:ES端口号"
          #ES索引名称(自己定义的)
          index => "ES索引"
          #自增ID编号
          document_id => "%{id}"
          document_type => "item"
  }
  stdout {
      #以JSON格式输出
      codec => json_lines
  }
}

logstash.conf文件编辑完成后cmd进入:安装目录/bin  执行logstash -f logstash.conf即可数据从数据库到ES的输入。
看到此类信息则表示数据输入成功!!!

Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据_elasticsearch_07

打开Kibana的Dev Tools 输入指令:GET 索引名称/文档名称/_search
看到此界面表示数据已经输入到ES中了,接下来就可以对ES进行操作啦。。。

Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据_bc_08

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

上一篇: 配置Tomcat运行Java Web项目 下一篇: Winpcap学?
  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
LAT25BeqN9yq