每日感悟 个人感悟：终身学习，持续减少认知的局限性，每个人的认知都局限于自己的生活的圈层和历来的过往，知识来自于书本，老师，人生经历，这些都是有限的，在优秀的人也是基于这些基础上搭建的知识体系，进行扩展，形成你的知识架构和常识，持续提高自己的认知的范围，不活在自己的小圈层，不要认为自己一定是对的，认识到自己很多地方是有局限性的，也不用过分否定自己，在重大的事情上，在自己认知的基础上，多问为什么？扩展自己的认识是一辈子需要做的事情。 最近在MySQL运行中应用程序报错，/home/mysql/data3009/tmp/sql_14cdb_24'isfull"。 一般来说在MySQL在运行...

周一在发了一篇关于DOCKER的文章后，群里有同学反馈，见下图，我的确是没有从这个角度来出发，实际上很多技术的骗局就来自于非技术的因素。 只要一提到databasewithdocker的话题，基本上被提到的不是云厂商，就是京东等一些互联网公司，为什么他们要进行数据库容器化。 docker数据库的类型，比较单一化，MySQL和Redis是Docker化的重灾区，为什么？ 因为量多，而相对于这两种数据库，其他数据库产品Docker化的进度就非常低，OracleDocker化的基本没有听说，当然SQLSERVER本身Docker化的更没有听说。 主要还是MySQL和 REDIS...

基于alexander的俄国口音，部分内容未能完全翻译。 大家好我叫亚历山大.库是金，今天我给大家介绍的是patroni3.0的一些新的规划和功能，主要有以下的一些议题，功能介绍，问题的修复，以及新的功能。 Patrnoi本身支持多种部署，包含最小化部署，支持多种的分布式组件，主要是ETCD,通过分布式服务，来自动发现节点的状态情况，并将状态进行汇总，通过leaderkey来标识当前的primarypoint节点，同时这里状态会根据TTL进行状态在获取，key是有租约的，所以这些key会在租约到期失效后，进行key的更新。 当主库出现故障，无法进行KEY的状态更新，相关的主键的信...

在MySQL8innodb参数中有一些需要在在重新梳理，发现一些新版本的添加的参数，更新知识，也将老的知识在重新唤醒。 mysql>showvariableslike'innodb_buffer%'; +-------------------------------------+----------------+ |Variable_name|Value| +-------------------------------------+----------------+ |innodb_buffer_pool_chunk_size|134217728| |innodb_buffer...

PostgreSQL的内容之前写上百篇，这里打算开一个系列，叫PostgreSQL难搞的事情，主要针对PostgreSQL中经常被问及的问题和一些导致这些问题深层次的原因的一个主题。这次的主题从PostgreSQL的vacuum开始， 说到Vacuum属于是几家欢喜几家愁的，一般发愁的都是那些PostgreSQL业务繁忙的大库，并且经常出现业务高峰期的一些系统性能的波动。但大部分人都只关注Vacuum,autovacuum而忽略了一些为什么会产生这样动作的原因，同时不少人对 aggressivevacuum的是什么不了解，导致vacuum和 aggressivevac...

写这篇帖子的原因是最近发了一篇与polardb和mysql有关的帖子，有人私信问我一些问题，同时群里也有人在问技术的问题时，我提了一嘴，有的时候一些问题并不是技术来决定，而是人性来决定，有人希望我来说说为什么产生这样的想法。 所以开贴来说说，基于工作中仅仅设计数据库的部分，所以只提数据库技术和人性之间在工作的平衡的问题。首先技术的定义是什么？技术：指对于人类产生的知识系统进行组织并加以利用，解决人类遇到的实际问题的方案方法，并且技术是带有自身原理和实现方法的一种知识和操作的组织形式，简单的说技术就是处理事务的方法和手段。 人性：是一个不确定的存在，无关善恶，收到外部的刺激后，产生的一连串...

每人感悟，感悟每日，明白道理的人很多，但还是过不好这一辈子的根本的，你明白的道理可能仅仅是看了一眼道理，就告诉自己你明白了，或者你明白了但是那个道理不是道理。 事情是这样的，在我们的MySQL被POLARDB打败了后，我们遇到一个问题，就是强一致读的问题，在一个特殊的应用中，在大批量写后，需要立即进行数据的读，之前在MySQL都是打到主库，但基于想利用PolarDB的double节点，总不能还强制将读都指定到写节点，所以我们采用了原有的方案，但是发现在大量的写后去马上读的中应用给出的延迟在20ms，也就是在大量UPDATE几百万的数据后，从库的数据延迟应该在20ms内。虽然我们也解决...

临时工的几个群，最近是火热的讨论某国产数据库，不过这里也不怕提名了，因为临时工懂法，以下信息均以网易和新浪财经的信息为依据。 因为在今年夏天，临时工的公众号发起了一个关于大家要学国产数据库那个的投票，其中由于某些原因，这个数据库的投票的数量出奇的高，但鉴于业界的共识，我并未将所谓的第一名写到文章中，并遭到质问，为什么投票第一个的没有写到推荐的文字里面。 这里真的比较后怕，如果当时根据投票的结果，将这个数据库写到推荐的栏里面，那将是一件多么可笑的事情。 因为已经上了热榜，实际上不少数据库从业者，对于国产数据库一些问题的探究上，都是比较保守和不看好的，究其原因，主要是这个行业的一些事情，的...

最近DBATEAM的一个小朋友提离职，基于这个小朋友从上一家单位，跟我到了现在的这家单位，我对他的感情还是比较深，有点像自己家的小弟，之前那篇临时工的文章提到，有些人是干了5年还是干了10年，工作的经验没有什么变化，而这个小朋友正好是这个现象的反面，他最大的问题是进步太快，进步太快天资聪慧，因果报应，出现又离开。 因为在上家单位，我当时也在招人搞DBATEAM一搞搞出了9个人员的配置，当时一般DBA是不招刚毕业的，但这个小朋友就是刚毕业，或者说是没毕业，因为招他进来的时候他还没有毕业，还在做毕业设计。 那么并不是我脑子有水，招人图便宜，并不是，而是当人力资源给我他投递的简历的时候，以及后面...

每人感悟 六人行中的搞笑马修前两天走了，终年54岁，一个时代过去了，来了走了，过好每一天，每一天都是新的开始，都当做是美好的一天。 —————————————————————————————— MySQL搭建主从怎么做，相信在MySQLDBA的手里是一件非常简单的工作，xtrabackup数据库，然后恢复，在然后做主从配置，启动slavestart。 时代变了MySQL8了，我们不在用这样的方法来建立基于MySQL8的数据库的复制了，那么我们用什么，这样的方式叫什么innodbreplication.这里我们采用的方法通过adminapi来支持MySQL搭建复制，并进行手动切换主从...

6分析处理6.1透明查询路由 在PolarDB-IMCI中，通过一种基于成本的路由协议，可以在不同的节点和不同的执行引擎上执行查询。路由过程对应用程序和用户完全透明，并且具有两级策略：节点间路由和节点内路由。节点间路由通过代理层实现读写流的分割（负载均衡），而节点内路由通过优化器提供对数据访问路径和执行引擎（基于行或基于列）的动态选择。 节点间路由。PolarDB-IMCI的代理为所有应用程序请求（包括OLTP和OLAP）提供统一的SQL接口。当请求进入时，代理通过一个简单的语法解析器将读写请求（如事务）指向RW节点，并将只读查询（如分析查询）指向RO节点。 如果有多个RO节点可用，则代理...

最近整体的风向都朝着不好的方向在走，或许到底了就好了，根据一些专家和经济学家判断，我们还能坏到哪里去。当然今天说的不是经济，而是DBA到底应不应该当背锅侠，或者谁是DBA当背锅侠的幕后黑手。 最近有几个同学和我私下诉说最近的工作一些不顺心，大部分可以总结出几点： 1  工作中的数据库使用的太单一，导致技术能力提升慢，尤其金融领域中部分抑郁的DBA 2  工作中遇到口谕就是圣旨的领导，工作根本没法开展，天天郁闷之极的DBA 3  工作中因为整体的项目架构设计有重大的问题，最终由数据库DBA买单的正在掉头发的DBA 4 &n...

开发人员很少关注于数据库系统的权限，而POSTGRESQL相对于MYSQL来说，他的权限是复杂的，尤其在一些规范的企业，对于权限的要求很高，而随时掌握账号对于数据库OBJECTS的权限的状态,在很多项目中是乙方需要知道该怎么做的。 我们从上到下，一一给大家进行演示，你的用户组需要针对PG中不同的数据库掌握权限，那么那些账号有那些数据库的权限需要进行一个判断。 我们创建一个账号，关于这个账号在什么权限都没有，从下面的函数可以判断，什么都没有的权限的账号可以创建临时表,如果减少用户的名的传参，则为当前的账号是否有对于数据库权限的验证。 postgres=selecthas_databas...

最近和一个开发的友人聊天，他发出感慨，你们DBA是一个好职业，知识不怎么变化，还越老越值钱，并对开发人员行业的内卷和苦楚进行了一段论述。 实际上，现在那个行业都不好做，DBA远远没有开发人员想象的那样，稳定，并且知识不更新，那是误传。 现在的DBA的工作对比开发的工作，也是半斤八两，卷上了天，你随便打开一个工资看上去还对你有吸引力的工作JD，你马上就发现，你自己大概率无法胜任这个工作。 我们举几个简单的小例子 1 对于MySQL内核有深入的了解，能读懂源代码，对于一些MySQL中的bug可以进行修改，提高整体数据库的稳定性，有社区BUG提交者优先。 2  对...

每天感悟 突然想愤怒的时候，或别人认为你应该愤怒的时候，你不在愤怒，而是能理智的或冰冷的分析出为什么，原因是什么，并且尝试把自己放到他的位置去看明白原理或根本，恭喜你又升级了 上次在安装和简单的实现了备份后，产生了很多的问题，基于这些问题我们持续的开始针对pgbackrest进行研究和发现里面的一些问题。 本期提出一些问题 1  执行文件，日志文件等是否可以在编译的时候进行改变文件存储的目录位置 2 配置文件中的配置通过TCP/IP的方式来访问数据库是否可以 3 配置文件中的global的一些配置信息的细节和参数的解释 4 &nbsp...

serverless类型的数据库在国外的数据行业中持续受到关注原始是什么？ 原因来自于对于一个开始新项目的应用程序开发人员来说，他们可以配置数据库，不需要担心计算和存储的大小，也不需要微调数据库配置，只需要对工作负载模式和事务量有一个大致的了解，就可以近似估算成本，这个观点非常吸引人，一些人甚至可能看到降低数据库系统总拥有成本（TCO）的巨大潜力。 随着围绕云成本管理的主题不断发酵，弹性的按需付费模式使serverless更加吸引人,在成本方面尤其受到CTO的青睐。 在项目还无法确认是否持续的情况下，serverless数据库运营的方式成为应对不可预测且波动较大的工作负载的较好的解决方案。...

MongoDB在6月份向其NoSQLAtlas数据库服务（DBaaS）添加向量搜索功能之后，MongoDB正在为一些工具添加新的生成式AI功能，来以进一步提高开发者的工作效率。这些新功能已经添加到MongoDB的关系迁移工具中如，Compass、AtlasCharts工具中。 在文档接口中，MongoDB添加了一个由AI驱动的聊天机器人，允许开发者询问关于MongoDB产品和服务的问题来获得答案，同时还为软件开发过程中的故障排除提供支持。 MongoDB文档中的聊天机器人是一个开源项目，利用MongoDBAtlasVectorSearch进行AI驱动的信息检索，以提供带有上下文的答案，该...

之前备份的工具一直在使用PGRMAN，潮流变化了，现在最新最推崇的PG备份软件是pgBackRest，今天来探究一下到底为什么他是目前最推崇的备份软件。 根据GITHUB的介绍，pgbackrest目标是一个可信赖的容易使用的备份和恢复工具和一体化的解决方案，针对大型的数据库和多负载的情况下的选择，目前写文时的版本是2.48,其中功能特点如下 1并行备份和恢复 2支持本地和远程的备份方式 3 多种备份的留存方式可选择 4全备，差异，以及增量备份的方式都可以支持 5 针对数据备份归档的一体化的留存设置 6 备份的完整性验证 7 多种数据的备份的设备支...

每日感悟 我惹了他，他没有对我反击，我赢了，占便宜了，小声的告诉你，他不打你只是在他的眼里，你就是一个蚂蚁，他随时可以踩死你，只是暂时他不想。 首先我想问一个问题，有多少同学在抖音上没有买过东西，有多少同学认为抖音上的东西比淘宝上便宜，整体销售的市场在变化，原来实体线下门店的销售模式又再次转变了，人人当主播，厂家直销的模式到来了，物品当然会便宜，一个行业也要变化，中间商，随着信息的公开透明，获取的渠道打开，靠信息封闭来吃差价的好日子会一去不复返了。与此同时，我们DB行业也在变化。 最近失业的，找工作的人不少，DBA这个行业失业的，找工作的也不是少数，当然相对程序员来说，DBA的体量是...

本集非常有意思，其中MongoDB查询引擎的产品经理是吴晓晨，妥妥的中国人，身为一个中国人，为这样世界级的产品有一个中国的产品经理而高兴，说明中国人根本就不差，我们差的是舞台和XX。 正文： 大家好我是吴晓晨，我是MongoDB的查询和性能部门的产品经理，这边的是我的同事Mihai这个产品的高级软件工程师，来Mihai给大家打一个招呼。大家好我是Mihai我是MongoDB查询引擎和性能部门的资深软件工程师。 吴晓晨：好的，今天我们将为大家介绍我们最新的，最好的查询引擎当然这不会是一个无聊的演讲，关于他是什么，他怎么工作，我们这里要回顾一些引擎底层的小故事，告诉你我们的思路是什么。今天...