作者：TiDB社区小助手 导读 通过TiDB连接全球极限场景和创新场景，是PingCAP长期坚持的国际化战略。目前，在全球已有超过3000家企业选择TiDB。无论在游戏、金融、物流、互联网还是智能制造等行业，基于规模化OLTP扩容、实时HTAP分析等应用场景，PingCAP服务用户的脚步已经从中国延伸到全球，覆盖日本、亚太、北美和欧洲等各个区域。 从今天开始，我们将分享一系列“全球极限场景与创新场景使用TiDB的最佳实践”。本文为该专题第一篇，分享TiDB如何为全球著名游戏公司CAPCOM提供灵活、可靠、可扩展的数据库服务，保障其在线游戏的全球化运营。 CAPCOM是一家日本游戏开发...

作者：李轲蔡茂捷徐凯 本文根据安信证券资深数据库架构师李轲在DevCon2022上的分享整理，主要讲述了TiDB在安信证券的资产中心与极速交易场景的实践经验。主要包括三部分内容：第一是国产化改造总体情况，第二是TiDB在安信证券的一些实践情况，第三是实践过程中我们遇到一些问题的反馈和建议。 安信证券股份有限公司（以下简称“安信证券”）成立于2006年8月，并先后于2006年9月、12月以市场化方式收购了原广东证券、中国科技证券和中关村证券的证券类资产。安信证券总部设于深圳，全国设立50家分公司，320家营业部和370个营业网点。安信证券现为全牌照综合类券商，多项业务排名进入全国前列，连续10...

作者：qizhining 一、测试需求： 基于历史原因，我们的业务数据库一直使用5.4.3，最近由于研发提出需求：需要升级到6.5.3版本，基于版本不同，需要做个压力测试已验证2个版本之间的性能差异。 二、测试目的： 验证tidb数据库5.4.3和6.5.3版本性能的差异 三、测试结果： tidb数据库6.5.3版本比5.4.3总体性能提升10%左右 四、以下是测试具体操作 1、集群环境 硬件配置 服务器为14台阿里云本地盘ssd服务器（选择的是NVME物理磁盘，不使用云盘，性能是5.5倍，具体测试请参考另外的文章） 服务器 IP CPU 内存 P...

一、背景简介 在学习prometheus时，会遇到一个histogram_quantile()函数，用于对histogram类型的指标进行分位数计算，实际上这个函数就是histogram这个指标类型最常用的函数。 此函数在tidb的监控图表中有一个比较明显地方使用：计算P99/P999Duration等延迟指标。 新人们对此函数的理解是可能是一个较漫长的过程，而我观察到很多解释此函数的博主们在解释这个函数的应用场景和原理时非常容易陷入“知识诅咒”的陷阱，即，写作者自身非常了解这个领域的知识，但潜意识中很容易忽略读者可能对该主题或领域不了解的事实。于是在涉及某些较为简单的专有名词时会一笔带...

作者：ShawnYan TiProxy简介 TiProxy是一个基于Apache2.0协议开源的、轻量级的TiDB数据库代理，基于Go语言编写，支持MySQL协议。TiProxy支持负载均衡，接收来自应用程序的请求，然后将其发送到TiDB集群。支持自动故障转移，当后端TiDBServer发生故障，可以自动将连接转移到其他节点，以提高应用程序的可用性。 TiProxy编译 TiProxy是轻量级组件，编译步骤很简洁，编译环境同前《TiDB源码编译之TiUP篇》。 编译步骤如下： gitclonehttps://github.com/shawn0915/tiproxy--dept...

作者：Prest13 背景 在双中心部署tidbdr-autosync集群，出于监控的高可用考虑，在物理分离的两个数据中心分别部署独立的prometheus+alertmanager+grafana，实现任一监控均可访问。 此部署架构需考虑两套监控组件数据采集的一致性，以及监控告警重复发送的问题。 实现思路 两套Prometheus组件各自独立进行集群监控信息的采集和存储； <!----> 两套Grafana连接各自的Prometheus作为数据源； <!----> AlertManager通过集群配置，基于gossip机制，在多个alertm...

作者：hellogitee 背景 最近业务有一个需求，为防止机房级别的故障，想要在异地机房新搭建一套TiDB集群做备用，以便能随时进行机房级别的切换。这种需求当然是要用TiCDC来同步啦，第一要步就是通过br工具进行备份，然后再来同步。 官方文档&FAQ 备份存储的选择 官方文档建议使用S3或者NFS，如果使用local的话，因为br备份是将tikv的各个节点数据保存到本地目录，在恢复的时候需要将所有的tikv节点备份数据合并到一起后才能使用，这样比较麻烦，被官方不推荐使用。 但咱不是没那条件么，合并麻烦是麻烦，但总归是条路子。 https://docs.pingcap.co...

作者：TiDB社区小助手 2023年7月10日，TiDBServerless正式商用。这是一个完全托管的数据库服务平台（DBaaS），提供灵活的集群配置和基于用量的付费模式。紧随其后，TiDBServerlessBranching的测试版也发布了。 TiDBServerlessBranching功能使用户能够为其TiDBServerless集群创建分支。这些分支可以实现并行开发，促进新功能快速迭代，排查故障，开发者无需中断生产数据库的运行。该功能不仅简化了开发和部署过程，还保持了生产环境中数据库的稳定性和可靠性。 1:分支是什么？ 对于集群而言，分支是一个独立的实例，其中包含一份原始集...

作者：ShawnYan 导言 TiFlash从去年四月一日开源至今已经过去将近一年半，这段时间里TiFlash从v6.0.0-DMR升级到了v7.3.0-DMR，并增加了若干新特性，比如支持MPP实现窗口函数框架，新增支持若干算子和函数下推，支持AWSS3算存分离等。先来回顾一下TiFlash资源精华帖，【重磅消息】TiFlash终于开源啦！，和TiFlash时间线。 前两篇文章《TiDB源码编译之PD/TiDBDashboard篇》和《TiDB源码编译之TiUP篇》分别阐述了如何编译TiUP、PD以及TiDBDashboard。本文将介绍如何编译TiFlash，只是本文使用的技术...

作者：ShawnYan TiProxy简介 TiProxy是一个基于Apache2.0协议开源的、轻量级的TiDB数据库代理，基于Go语言编写，支持MySQL协议。TiProxy支持负载均衡，接收来自应用程序的请求，然后将其发送到TiDB集群。支持自动故障转移，当后端TiDBServer发生故障，可以自动将连接转移到其他节点，以提高应用程序的可用性。 TiProxy编译 TiProxy是轻量级组件，编译步骤很简洁，编译环境同前《TiDB源码编译之TiUP篇》。 编译步骤如下： gitclonehttps://github.com/shawn0915/tiproxy--dep...

POC测试背景 在某地震多发省，为了避免地震造成的机房级灾难，或者城市级灾难，导致整个系统不可用，拟建设一套三地五中心五副本分布式高可用数据库系统，保证高可用需求。在该系统中需要接入不同地区的应用流量，且前期应用开发已经采用了百库百表的水平分库表策略。为尽可能减少应用数据库延迟、数据库计算层向存储层跨机房跨城取数延迟，需要做到业务流量与对于数据分片leader在同一个机房。 POC测试项 敏感信息已脱敏，测试用例信息可作为参考与学习 测试环境信息 机器软件环境配置 共12台阿里私有云托管物理机，其中10台用作部署集群，2台用作部署同步程序或测试HTAP能力扩容。 单台配置如...

作者：Fly-bird 背景：由于公司要求必须保证数据库的数据安全，我们生产环境的数据库采取全量备份+增量备份+实时同步从库的方式保证数据库的高可用，本文介绍我公司生产环境的数据库备份方式。 注意：我们使用实时同步数据到从库的方式保障高可用（使用pump+drainer），同时支持恢复任意时刻数据的操作以防止数据的误删除，会另文介绍。pump生成binlog日志，drainer同步到下游数据。 说明：本实操使用了Tidb的BR工具、pump+drainer组件实现数据库的全量备份、恢复、增量备份（备份为文件进行保存），以下是实际操作： 一、安装Tidb，此服务作为恢复数据的目标机器（...

作者：TiDB社区小助手 导读 Catalyst是一家总部位于纽约的SaaS创业公司，它提供了一个直观且灵活的客户成功平台（CustomSuccessPlatform），可帮助客户成功团队汇聚客户数据，洞悉客户健康状况，推动客户留存和业务增长。目前Catalyst已完成了B轮融资。 本文为“全球极限场景与创新场景使用TiDB的最佳实践”专题第三篇，分享TiDB如何为 Catalyst降低了维护成本并提供更好的客户体验。 业务特点 Catalyst整合了来自包括Salesforce、Mixpanel、PostgreSQL等不同来源的海量数据，并将其纳入Catalyst生态系统...

作者|王聪彬编辑|舞春秋 导读 本文介绍了漱玉平民大药房在药品零售领域的数字化转型和发展历程。通过技术创新，漱玉平民建设了覆盖医药全生命周期的大健康生态圈，采用混合云架构和国产分布式数据库TiDB，应对庞大的会员数据处理需求，实现了精准营销、高并发处理等目标。阅读全文约需8分钟。 漱玉平民对于数字化建设非常重视，一步步通过技术创新，推动客户服务，构建起覆盖“医、药、康、养”全生命周期的大健康生态圈。 20多年来，我国的零售药店发展可谓迅猛，成为了社会基层提供药学服务、保障药品供应的终端。 2022年是药品零售行业近年来增速最快的一年，据统计，2022年中国零售药店市场销售额达到5421亿...

作者：Billmay表妹 image1145×38030.1KB 从TiDB4.X开始，Grafana监控页面里带上了TiKV-FastTune面板，目的是为了不需要任何学习成本、快速（1-10min）地找到TiKV的性能抖动或退化的原因。 使用很容易，当TiDB有性能抖动时，如果排查过认为是存储层问题，那么就打开FastTune，逐个面板浏览，寻找上下两条曲线吻合的情况，有的话，那么这个面板的标题就是出问题的原因。 核心设计思想： 尽量减少用户（定位问题时）需要知道的信息，把大堆的TiKV面板缩减为有限几个。 把相关的“因”和“果”绘制成同一个面板的上下两条曲线，让用户一眼能辨别出问题。...

作者：ShawnYan TL;DR 本文将延续本系列文章，介绍如何编译TiDBServer源码。以及，阐释TiDBServer7.x的部分新特性。 News!!! TiDBv7.5.0LTS计划于2023-11-23正式Release[1]，目前代码虽未冻结，但已经可以看到Alpha版本的Code了，本文代码将以v7.5.0-alpha为基准。 前情提要 本文是该系列文章的第5篇，前四篇文章分别是： TiDB7.x源码编译之PD/TiDBDashboard篇 TiDB7.x源码编译之TiUP篇，及新特性解析 TiDB7.x源码编译之TiFlash篇 TiDB7.x源码编译之T...

作者：BhanuJamwal 导读 在2023年10月21日，MySQL5.7将达到其生命周期的终点（EOL,EndofLife）。这意味着Oracle将不再为MySQL5.7提供官方更新、错误修复或安全补丁。 自发布以来，MySQL5.7成为了许多应用开发者的首选的数据库，但日新月异的数据应用场景和技术也对数据库技术栈提出了新的需求。随着MySQL5.7EOL到来，升级到一个更高版本、且有官方支持的MySQL似乎是最直接的方案，但是否有其他选择呢？我们是否可以找到一个既能满足当下不断发展的数据处理需求，又能克服当前MySQL技术限制的完美替代方案？ 本文将介绍一些可能的替代方案的优缺点，...

作者：ShawnYan 引言 前文TiDB源码编译之PD/TiDBDashboard篇演示了如何编译PD和TiDBDashboard组件，本文继续谈谈TiUP，对于TiUP组件的重要意义也已经在去年的文章TiUP：TiDBAer必备利器中充分阐述，不再赘述，直接上干货。 TiUP编译 源码仓库 TiUP的源码在PingCAP的org下， 目标地址为：https://github.com/pingcap/tiup/ 需要注意的是，去年十月，bench压测组件的源码独立成单独仓库(2055)， 目标地址变更为：https://github.com/PingCAP-QE/tiup-be...

作者：TiDBer_小阿飞 TIDB分布式数据库离线实施方案及相关测试（测试版） 第一部分  硬件资源 一、硬件资源 现有硬件资源环境统计如下 |||||||||-|-----------|--|----|---|--------|------------||序号|IP|CPU|存储|内存|Hostname|描述信息||1|21.72.124.38|16核|300GB|46g|tidb|SQL解析层，不存储数据||2|21.72.124.39|8核|300GB|15g|pd|管理模块，调度计算||3|21.72.124.40|16核|300GB|62g|tik...

背景 最近某集群扩容了一批物理机，其中TiKV节点有6台机器12个实例，同时调整了label设置增加了一层机柜级容灾。因为前期做了比较充分的准备工作，到了变更窗口只等着执行scale-out就行，操作过程也很顺利，很快就把所有节点都扩进去了，检查完各实例的运行状态，确保region已经开始正常调度，就放心去睡觉了（半夜变更，结束时凌晨1点左右）。 第二天一大早还在上班路上，业务方反馈数据库有部分SQL报错RegionisUnavailable，怀疑新扩容的TiKV节点出了问题，火速赶到公司开始排查。 此时内心os，打工人1024不加班的小小心愿要破灭了。。🤣 故障现象 业务方反馈...