SQLServer数据库优化学习-总结 背景 各种能力都需要提升. 最近总是遇到SQLServer的问题 趁着周末进行一下学习与提高. 安装与优化 1.数据库必须安装64位,不要安装成32位的版本 2.数据库的序列号要使用enterprisecore的版本,不要使用enterprise的版本,仅可能使用20个CPU核心. 3.tempdb,要放到性能比较好的硬盘上面,不要将所有的数据库数据文件放到一块硬盘上面.分散放置,提高性能. 4.限制SQLServer的内存用量.专用服务器至少留给服务器10%以上的内存用于系统开销,非专用服务器建议综合考量. 5.不同业务的数据库实例安装到同一...

 

JVM内存用量的再学习 背景 最近解决一个SQLServer的问题耗时很久. 最终找到了一个看似合理的问题解释. 但是感觉不能只是总结于数据库方面 因为为了解决这个问题增加了很多监控措施. 所以想就这这个问题,总结一下这次问题诊断过程中学习到的JVM相关知识. 一个JVM的监控图表 堆区信息 类加载 栈信息 内存学习 启动脚本为: -javaagent:./jmx_prometheus_javaagent-0.17.2.jar=8080:simple-config.yml-XX:+PrintSafepointStatistics-XX:PrintSafepointStati...

SQLServer性能报表的学习与使用 背景 前面连续学习了SQLServer如何优化等事宜. 但是一开始总是么有找到对应的问题解决思路 周天时想到了SQLSERVER的MDW工具 但是并没有找到一个合适的处理方式和方法. 今天突然发现可以使用部分核心报表功能进行问题定位. 所以想着总结一下,作为一个阶段性的成果 前提条件 我这边SQLServer的版本比较高,为2012SP4 较低版本的数据库可能没有对应的功能,这一点需要注意. 理论上需要具备sa管理员权限才可以. 注意事项 必须使用SSMS管理工具进行打开数据库连接. https://learn.microsoft.c...

SQLServer执行计划的简单学习和与类型转换的影响 背景 最近一直在看SQLServer数据库 索引.存储.还有profiler的使用并且用到了deadlockgraph 但是感觉还是不太深入 数据库的查询计划学习的还是太少. 正好同事说到了jdbc里面的:sendStringParametersAsUnicode 参数的问题. 一直没搞明白影响程度,所以想继续学习验证一下. 方式 -开启记录的事项 SETSTATISTICSTIMEON SETSTATISTICSIOON SETSTATISTICSPROFILEON -刷新缓存,避免有影响. dbccdropcleanbuff...

SQLServer解决deadlock问题的一个场景 背景 公司产品出现过很多次deadlock 跟研发讨论了很久,都没有具体的解决思路 但是这边知道了一个SQLServer数据库上面计划100%出现问题的场景 然后想着跟之前微软case一起处理一下看能否解决这个问题. 整体思路 1.修改默认的隔离级别 2.关闭索引上面的页锁,只留下行数,避免锁升级到页锁,导致问题 3.使用profiler的方式,跟着你干出来deadlock对应的资源,查看资源并且进行优化. 第一步修改隔离级别 SQLSERVER默认的是ReadCommited的隔离级别. 大部分高并发场景都建议执行一下修改...

SQLServer性能优化之二 背景 优化了机器的硬件配置之后性能好了很多 但是偶尔还是会出现阻塞. SQL总是奇奇怪怪的. 其实第一天时就感觉可能是索引存在问题. 但是dbcc重建所有数据库的索引太慢了. 所以作罢了,从HDD传输到SSD后大部分功能已经可以用了 以为问题就此解决,但是跟踪发现还是存在风险. 所以继续跟踪一下,怀疑跟索引的碎片率太高有关系. SQLServer索引碎片的判断方法 SQLServer判断索引碎片的方法 查看索引大小,以及碎片情况 SELECTOBJECT_NAME(sys.indexes.OBJECT_ID)AStableName, sys.index...

几种数据库忘记密码的处理方法 MySQL8.0 分为rpm方式和tar.gz安装方式不同而不同 需要修改/etc/my.conf配置文件. 注意如果是rpm包的话就在这个路径下面 修改增加内容 skip-grant-tables 注意修改完需要重启数据库 rpm包安装的方式重启方法为: systemctlrestartmysqld 然后可以无密码登录数据 mysql-uroot-p 回车就可以了 但是需要注意,这种情况下是无法修改密码的.只可以将密码置空 updateusersetauthentication_string=''whereuser='root'; 需要注意,这个密码会把r...

银河麒麟在线升级新版本docker 卸载 yumremovedocker\ docker-ce\ docker-client\ docker-client-latest\ docker-common\ docker-latest\ docker-latest-logrotate\ docker-logrotate\ docker-engine\ docker-runc\ podman-y 重新安装 也可以使用如下方式卸载 rpm-econtainerd.iodocker-buildx-plugindocker-cedocker-ce-clidocker-compose-plugin ...

TiKV服务部署的注意事项 背景 最近发现tikv总是会掉线 不知道是哪里触发了啥样子的bug. 所以想着使用systemd管理一下,至少在tikv宕机的时候能够拉起来服务. 二进制文件 pd-server和tikv-server 将文件放置到/usr/bin目录下面 还需要创建部分呢目录 为了能够区分,可以使用不同的名字进行处理 mkdir-p/datapd/{data,logs}/datatikv/{data,logs} 创建好目录然后创建对应文件就可以; 注意最好是修改一下IP地址在进行相关的处理. 创建服务文件 cat>/etc/systemd/system...

Windows平台的prometheus和Grafana的学习与使用 背景 最近没有了linux机器 突然想捯饬一下Windows平台的监控与使用 所以总结一一下. 第一步下载 https://prometheus.io/download/ https://grafana.com/grafana/download 注意需要下载windows平台的安装介质 建议是选择zip包. zip包可以方便的设置目录. 启动prometheus 解压缩后进行处理,比如我这边的目录为: E:\00Grafana的目录 2023/11/2010:31<DIR>. 2023/11...

一键部署Docker中间件简单方法-redis为例 背景 想能够快速部署一些中间件. 写文档虽然可以,但是总会有人问,能够一键部署应该最好不过. 下载以及导出镜像 dockerpullredis:7.2 dockersaveredis:7.2|gzip>redis_docker_7.2.tar.gz 编写脚本进行容器部署 exportpassword=mustchange mkdir-p/data/redis/ read-p"请输入redis的密码:"-apassword cat>/data/redis/redis.conf<<EOF requirepa...

一些简单的备份恢复以及清理脚本 背景 想实现一些比较重要文件的备份工作. 想法是通过minio备份数据库. 通过rsync的方式备份类似于maven这样的文件存储内容. 备份完成之后通过find方式清理磁盘避免磁盘爆掉. minio备份的方式方法 now=`date+%Y%m%d%H` exportAWS_ACCESS_KEY_ID=minioadmin exportAWS_SECRET_ACCESS_KEY=minioadmin sshroot@192.168.254.216"mkdir-p/minio/data/tidb_dev_${now}" time/root/.tiup/...

开启大页与否对CacheBuffer的影响的学习 背景 最近遇到数据库压力较高的场景. 原厂工程师到位后修改了几个参数(自己以为参数没问题) 然后最近一周环境就比较正常了. 这个地方很打脸,自己没有进行详细的调查. 分析思考问题的思路和方向出现了问题. 基于这个情况,自己特别想知道,为啥修改参数之前内存使用量波动很大 但是关闭了numa关闭了透明大页打开了大页之后内存波动为什么会减少 尤其是cachebuffer的使用量从很大变成了几乎没有. 验证开启大页与否的情况 不开启大页使用200个jmeter进程连接数据库插入简单数据 [oracle@oracle12c]$ipcs-m -...

Grafana监控Oracle数据库的表大小等信息 方案 oracledb_exporter 以及 prometheus grafana 使用的SQL以及配置文件 [[metric]] context="table_sizeinfo" labels=["table_nameinfo","table_tablespace"] metricsdesc={table_rownum="tablerownum",table_colnum="tablecolnum.",table_size="tablesizenum"} request=''' SELECT x.table_nameAStabl...

process-exporter监控linux机器进程使用情况 背景 前期一直想进行关于IP地址的来源和目的地的监控 但是耗费了很多精力都没有搞定. 感觉应该去偷师一下安全监控软件的使用方式. 今天晚上再github上面漫无目的的进行exporter的查找 依旧一无所获,但是找到了process-exporter的工具 想着至少能够不会浪费一晚上的时间,至少能够总结一下. 所以今天的主题是监控进程的使用情况 学习网站 https://github.com/ncabatoff/process-exporter/releases/tag/v0.7.10 直接下载rpm包最好了 我这...

Oracle专用模式与共享模式的学习与思考 说明 Oracle数据库中的专用模式和共享模式是两种不同的数据库运行模式，它们在应用场景和权限管理上有所不同。 专用模式（DedicatedMode）：专用模式是指一个Oracle数据库实例中的每个用户连接都拥有独立的进程来处理请求。 每个用户连接都有自己的私有内存和资源，彼此之间是独立的。这种模式适用于需要高度隔离的环境， 例如每个用户的数据和会话都需要保持独立，以确保高安全性和稳定性。 共享模式（SharedMode）：共享模式是指多个用户连接共享一个进程来处理请求。 这些用户连接共享数据库实例的内存和资源，它们之间需要共享这些资源。 这...

有趣的Shell脚本学习 倒计时脚本 !/bin/bash echo20秒倒计时开始: tputsc 循环40秒 forcountin`seq020` do tputrc tputed echo-n`expr20$count` sleep1 done echo"20秒倒计时结束!" 解释 tput的作用 tput是一个用于操作终端的Linux/Unixshell内置命令，用于设置终端的颜色、大小、位置等属性， 以及让用户更加方便地操作终端。如移动光标、清屏、设置颜色等。 tputsc：tputsc是控制台控制终端的一个命令，用于保存当前控制台的光标位置。 tputrc：tputr...

TiDB的搭建与维护过程 背景 总结一下TiDB的搭建以及简单维护过程. 目标:简单快速的创建TiDB数据库,以及进行备份恢复等工作. TiDB简介 TiDB（全称：TiDistributedDatabase）是一款开源的分布式数据库系统， 由PingCAP公司开发。它是一种基于分布式架构的新型关系数据库， 融合了传统关系数据库的ACID特性和分布式数据库的可扩展性、高可用性和分布式事务特性。 TiDB以MySQL协议为基础，与MySQL兼容，可以无缝替代传统的关系型数据库。 它的最大不同是它的存储和计算部分是分离的，存储节点称为TiKV，计算节点称为TiDB。 TiKV是以分布式...

阿里云（杭州）https://registry.cn-hangzhou.aliyuncs.com 阿里云（上海）https://registry.cn-shanghai.aliyuncs.com 阿里云（青岛）https://registry.cn-qingdao.aliyuncs.com 阿里云（北京）https://registry.cn-beijing.aliyuncs.com 阿里云（张家口）https://registry.cn-zhangjiakou.aliyuncs.com 阿里云（呼和浩特）https://registry.cn-huhehaote.aliyuncs.com ...