最近接管了一套sqlserveralwayson集群，需要加些监控和告警，简单研究了下github的方案，发现了这种sql_exporter这种更简单，扩展性也超级强。（另一种是通过nodejs的方案监控，费事点，可扩展性也不太好，这里直接pass掉）。 github地址：https://github.com/free/sql_exporter wgethttps://github.com/free/sql_exporter/releases/download/0.5/sql_exporter-0.5.linux-amd64.tar.gz 解压文件 cpsql_exporter.y...

之前有几台sqlserver只有最基础的主机监控，db层面的监控基本为0。 这里简单的补充几个，用python包装一下即可集成到数据库巡检任务平台。 查询锁等待 usemaster; WITHCTE_SID(BSID,SID,sql_handle,name) AS(SELECTa.[Blocking_Session_ID], a.[Session_ID], a.sql_handle, bb.name FROMsys.dm_exec_requestsainnerjoinsys.sysdatabasesbbona.database_id=bb.dbid WHEREa.[Blocking_Ses...

原创 SeanHe 数据库杂记 2023-06-0506:10 发表于德国 基本背景: 这里作一下搬运工，直接拿出结论，尽量少走弯路。 基本实验环境： DB:PostgreSQL14.7 pgbackrest：pgBackRest2.46 OS:RedhatELS8.8,CentOS7.9 如果只是想直接实验操作及验证，可以跳到第6节和第7节查看。 也不是说，上边的这些工具，你只要掌握了pgBackRest和pg_probackup两个就足够了。甚至只需要掌握pgBackRest就可以了。 1.pgbackrest 参考：http...

之前有研发反馈，同一个SQL在测试环境和生产环境，数据一样，跑出来的结果却有差异。经过排查后，发现2套环境的表字符集不一样。测试之前是5.6升级到8.0的，表字符集是utf8_general_ci的，而生产一直就是用的8.0,表字符集是utf8mb4_0900_ai_ci。 问题的根因就是因为不同字符集下对于字符串尾巴后面的空格的处理方式不一样导致的。 -测试环境是下面这种（从5.7升级到8.x）： information_schema>SELECTFROMINFORMATION_SCHEMA.COLLATIONSWHERECHARACTER_SET_NAME='utf8mb3'and...

上周研发提过来说希望对2个表做join，但是这2个表分布在不同的MySQL实例里面。 如果要做JOIN的话，我目前想到了3种方法： 1、使用BI常用的presto工具，配置2个数据源，然后在presto里做join 2、使用datax将依赖到表数据抽到一个MySQL实例里面，这样可以直接做join 3、使用mysql的FEDERATED引擎的表（这种方法也类似PG里面的dblink或者fdw） 对presto感兴趣的，可以自行搜索引擎去了解，它主要基于内存计算，处理性能很强，个人测试可以单机部署，生产一般和离线集群混部（晚上集群资源供离线计算，白天资源供presto即席查询）。 datax数...

这里简单的罗列了些关于ES的自动化运维过程中可能用到的脚本DEMO 创建索引并设置shards数 省略部分代码 fromelasticsearchimportElasticsearch src_es=Elasticsearch(hosts=configs.es_source_host,maxsize=16) dest_es=Elasticsearch(hosts=configs.es_dest_host,maxsize=16) defcreate_dest_index(): 注意：shards数在索引创建时候设置，后期再更改就比较费事了（后续再改shards数，需要锁写或者reind...

使用scroll方式迁移数据，类似于github上nodejs写的elasticsearch-dump。 依赖包 我这里演示的ES是7.x的，如果下面的脚本运行报错，请考虑调整这里的python的elasticsearch包版本 pipinstallelasticsearch7.13.1 配置文件 vimconfigs.py -coding:utf-8-- es数据源的信息 es_source_host=['127.0.0.1:9200']支持多个节点间用逗号分隔 es_source_index="index-test1" es目标库的信息 es_dest_host=['127....

通过openresty拦截掉危险的操作。 配置文件如下： $catdocker-compose.yaml version:'3' networks: monitor: driver:bridge services: cerebro: image:lmenezes/cerebro container_name:cerebro hostname:cerebro restart:always ports: "1234:9000" networks: monitor openresty: image:openresty/openresty container_name:openresty host...