作者：Ming 前言 最近在进行数据库操作时，遇到了一个问题，在使用insertinto...onduplicatekeyupdate操作时，系统返回了如下错误信息： ERROR8141(HY000):assertionfailed:key:xxxx,assertion:Exist,start_ts:xxxx,existingstartts:xxxx,existingcommitts:xx 本文将主要介绍这个问题的触发现象以及规避方法。 背景 在实际项目中，我使用了insertinto...onduplicatekeyupdate语句来处理数据插入或更新的逻辑。然而，当我执行这...

作者：邵健王辉 导读 平凯数据库（TiDB企业版）全链路数据迁移平台TMS为企业提供了从Oracle到TiDB的全流程数据迁移解决方案，包括对象结构迁移、数据全量迁移、数据校验等，大幅降低了迁移风险和成本。 本文介绍了TMS的核心功能，及其在杭州银行的实践应用。通过与杭州银行的共创和打磨，TMS在功能和操作体验方面得到了迅速的优化，最终成功帮助杭州银行实现了多套业务系统的平稳迁移，验证了其在实际生产环境中的高效可靠性。 分布式、云原生为代表的新技术的出现，为数据库技术实现弯道超车做好了铺垫。伴随着数据使用场景的多元化，对于海量数据增长迅速、高并发读写、实时分析需求高的业务系统，传统经...

作者：Jellybean 前言 TiDB的最新LTS版本v7.5.0于2023年12月1日正式发版，包含很多期待已久的新特性。比如： 支持并行运行多个 ADDINDEX 语句 可以使用SQL实现Lightning物理导入 大大简化了数据导入的操作效率，极大改善了易用性 DDL支持暂停和恢复。 升级时更平滑，切再也不担心超大表加索引要加好几天而影响业务的情况了，可以对大表加索引错峰执行。 TiDBDashboard性能分析支持TiKV堆内存分析。 通过TiDBDashboard我们就可以直接获取TiKV的火焰图和调用图，非常方便！ 此外还有优化全...

背景 笔者最近在驻场，发现这里的tidb集群是真的多，有将近150套集群。而且集群少则6个节点起步，多则有200多个节点。在这么庞大的集群体量下，巡检就变得非常的繁琐了。 那么有没有什么办法能够代替手动巡检，并且能够快速准确的获取到集群相关信息的方法呢？答案是，有但不完全有。其实可以利用tidb的Prometheus来获取集群相关的各项数据，比如告警就是一个很好的例子。可惜了，告警只是获取了当前数据进行告警判断，而巡检需要使用一段时间的数据来作为判断的依据。而且，告警是已经达到临界值了，巡检却是要排查集群的隐患，提前开始规划，避免出现异常。 那直接用Prometheus获取一段时间的数据...

作者：TiDB社区小助手 互联网时代，数据的迅猛增长给数据库带来了可扩展性的挑战，GenAI带来的数据暴增更加剧了这种挑战。传统的数据分片已经不能承载新时代数据暴增的需求，更简单且具有前瞻性的方法则是采用原生分布式数据库来解决扩展性问题。在这种规模化场景的背景下，TiDB的研发团队和开源贡献者们始终致力于解决事务一致性、数据持久性以及大规模扩展所带来的新挑战，以及保障关键应用的稳定性。 作为TiDB7系列的第二个长期支持版本(LTS)，TiDB7.5着眼于提升规模化场景下关键应用的稳定性。新版本中，TiDB在可扩展性与性能、稳定性与高可用、SQL以及可观测性等方面获得了持续的提升。TiD...

作者：cchouqiang 一、背景 业务的连续性和稳定性对企业来说至关重要，因此对数据库侧的容灾能力要求也越来越高，传统的高可用架构已无法满足高要求的容灾要求，两地三中心架构已成为主流架构。 对于rawkv集群来说，需要使用TiKV-CDC来实现在两个集群间的数据同步。 二、环境准备 安装介质 tikv-cdc下载地址： https://github.com/tikv/migration/releases/tag/cdc-v1.1.1 （注：TiKV-CDC是专门同步rawkv集群开发的，跟TiCDC不同） tikv-cdc使用手册：https://tikv.org/docs...

作者：某物联网公司设施云平台负责人 用户简介：我们是一家提供全链智慧园区整体解决方案的物联网公司，致力于打造可持续发展的智慧园区。 导读 本文由某物联网公司设施云平台负责人编写，介绍了其公司基础设施平台的设计与挑战。面对MySQL主从架构在高峰期性能不足的问题，文章详述了引入TiDB的原因和实施过程。基于TiDB的HTAP能力，用户通过巧妙的设计与运用，实现了OLTP与OLAP负载的彻底隔离，成功解决了数据库性能瓶颈，提升了应用核心功能、BI报表性能以及ETL作业的效率。文章最后总结了TiDB上线以来的运行状况，展望了未来在更多业务场景中的应用。 基础设施平台简介 基础设施平台是集团...

作者：魔人逗逗 整体架构 TiDB大体可以分为三个模块TiDBServer,PDCluster和StorageCluster。 TiDBServer的功能类似于Mysql中的Server端，用于处理客户端的连接、解析和优化SQL语句、生成执行计划等等。除此之外，因为TiDB底层存储是LSM-Tree而不是B+Tree，所以还需要将关系型数据转换成KV格式。此外还有GC、DDL执行、缓存和热点小表等功能。 PDCluster是TiDB相比于传统数据库独有的一个模块，这个模块也是TiDB作为分布式系统的核心。主要的功能有元数据的存储、TiDB集群中微服务的注册和调用、分布式事务/全局ID(...

一、先从最省事的开始，GC时间内的恢复 简单解释下，tidb有个参数，tidb_gc_life_time ，一般默认是10分钟。建议适当加大。 查询方式 select@@tidb_gc_life_time; 再不行就看grafana里，tikv-details>gc有个TiKVAutoGCSafePoint，只要是在这个时间之后的，都可以通过下面3个方式恢复。 1.1表的数据量很小，通过工具导出 set@@tidb_snapshot="2023-11-1210:53:26"; 导出，这个就看你的工具了，一般的Navicat就挺好用的。 导入一样用工具，记得建个新表。 ...

作者：ShawnYan 前言 12月1日，期待已久的TiDBv7.5.0LTS发版。TiDB7.5.0ReleaseNotes 作为TiDB7系列的第二个长期支持版本(LTS)，TiDB7.5着眼于提升规模化场景下关键应用的稳定性。新版本中，TiDB在可扩展性与性能、稳定性与高可用、SQL以及可观测性等方面获得了持续的提升。TiDB7.5LTS包含了已发布的7.2.0-DMR、7.3.0-DMR和7.4.0-DMR版本中的新功能、提升改进和错误修复，累计优化和修复功能70余项。 前文中，我们详细地介绍了TiDBServer在v7.1到v7.4的新特性，彼时TiDBv7.5.0LTS...

作者：seiang DM是一款便捷的数据迁移工具，支持从与MySQL协议兼容的数据库（MySQL、MariaDB、AuroraMySQL）到TiDB的全量数据迁移和增量数据同步。使用DM工具有利于简化数据迁移过程，降低数据迁移运维成本。 DM除了在MySQL迁移TiDB过程中发挥着重要的作用，而且在将上游MySQL数据近实时同步到TiDB集群做AP复杂查询也发挥着重要的作用； 在实际的数据同步场景中，经常会遇到已有数据同步任务正在运行，但又有上游MySQL其他新的表需要添加到该迁移任务中；本文针对已有的DM同步任务，如何为该同步任务添加新的同步的表？ 下面是官方文档中，针对已有数据迁移任务...

作者林佳@网易 本文整理自网易互娱资深工程师、FlinkContributor、CDCContributor林佳在FFA实时风控专场的分享，分享了网易游戏基于Flink+TiDB建设实时HTAP计费风控平台的实践经验，内容主要分为五个部分： 实时风控业务会话 会话关联的Flink实现 HTAP风控平台建设 提升风控结果数据能效 发展历程与展望未来 众所周知，网易互娱的核心业务之一是线上互动娱乐应用服务，比如大家耳熟能详的梦幻西游、阴阳师等都是网易互娱的产品。不管是游戏产品还是其他应用，都需要做出好的内容来吸引用户进行应用内购买，进而产生盈利。 当用户在商城里点击商品进行购买的时候...

本文作者：赵玉龙 京东云与PingCAP深度合作，联合推出了一款云上分布式数据库产品，向京东云用户提供云上的TiDB服务。它可以同时支持OLTP和OLAP混合负载场景，实现了自动水平伸缩，强一致性的分布式事务，部署简单，在线异步变更表结构不影响业务。 由于TiDB兼容MySQL5.7协议、MySQL常用的功能、MySQL生态，应用无需或者修改少量代码即可从MySQL迁移到TiDB，使迁移使用成本降到极低。下表从总体上概括了TiDB和MySQL的兼容策略： SQL是DBA和广大开发人员操作数据库的主要手段，几乎每天都在使用。那么它是如何工作的？我们又如何让它更高效地工作？本篇文章将详细介绍Ti...

作者：Jellybean 大家可能经历过这样一个场景，在某个正在熟睡的凌晨突然收到告警电话有tidb-server节点频繁重启，可能还伴随有内存告警，然后赶紧起来排查确认。上线一看发现不少节点出现了OOM，类似上图，在找到对应的SQL和业务一确认后，确定是凌晨偷偷新上的统计任务导致了这次的问题，赶紧让业务先停掉完，告知业务完成优化且经过DBA确认后再另外排期上线，之后骂骂咧咧的再次滚回被窝去。这个案例起码至少说明了几个问题： 开发能力和开发规范遵循问题 上线流程控制问题 数据库自身资源管控问题 在问题出现后数据库管理员总结排查方法，还可以针对性的做好开发手册指引和培训工作。 而我们...

作者：Billmay表妹 在TiDB社区中，我可以感受到越来越多企业和开发、运维人员对TiDB的关注和青睐。而随着TiDB的迅猛发展，越来越多的用户也开始分享自己在使用TiDB时的实践经验和技巧，这些经验和技巧不仅可以帮助使用者更好地了解和掌握TiDB，还可以帮助TiDB不断地完善产品。 当今越来越多的企业使用TiDB来处理其海量的数据，并在使用过程中深刻认识到了TiDB的强大和实用。为了让更多人了解和学习TiDB，近期我们整理了来自121个TiDB用户实践技术视频合集。 这个合集包含了丰富的TiDB实践经验和技巧视频，从TiDB基本概念到TiDB高级应用，涵盖了透彻的数据库设计和架构、...

作者：ShawnYan 11月18日，2023Rakuten技术大会在东京、上海和大连三地线下联动召开，期间有一场TiDB的Talk，《刘洋：TiDB在乐天积分系统的最佳实践》。 活动地点很近，就在我司对面，所以中午专门抽时间去聆听了刘洋老师的分享，只是会后又匆忙溜回公司搬砖，没来得及好好交流。 关于乐天Rakuten 可能好多同学对这家公司很陌生，因为这是一家三资企业。也有些同学似曾听过，只不过这不是韩国的乐天集团（Lotte）。 日本楽天集团RakutenGroup 创立于1997年2月，总部位于东京，是日本最大的电商平台之一，也是日本家喻户晓的互联网综合服务平台。Rakut...

作者：TiDB社区小助手 导读 咪咕是中国移动旗下的视频科技公司，门户系统是其核心业务之一。为满足用户的多样化需求，咪咕计划对其数据库进行升级。经过对中国主流国产数据库的测试评估后，咪咕选择了TiDB，并成功将其落地于门户系统云化项目。TiDB为咪咕在业务增长、高可用性、性能提升、数据整合等方面带来了显著价值。未来，咪咕计划拓展TiDB在更多业务场景中的应用，助力其业务创新和降本增效。 咪咕简介 咪咕视讯科技有限公司（简称：咪咕）是中国移动旗下咪咕文化科技有限公司的全资子公司，是中国移动在视频领域的唯一运营实体，主要产品包括咪咕视频、咪咕影院、咪咕直播等。截止2023年6月，咪咕视频...

作者WangZhiwen 导读 本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。同时分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值。 背景 大数据元数据服务HiveMetastoreService（以下简称HMS），存储着数据仓库中所依赖的所有元数据并提供相应的查询服务，使得计算引擎（Hive、Spark、Presto）能在海量数据中准确访问到需要访问的具体数据，其在离线数仓的稳定构建上...

作者：TiDB社区小助手 导读 汉口银行是一家城市商业银行，近年来专注科技金融、民生金融等领域。在数据库国产化改造中，汉口银行引入了TiDB数据库，并将其应用在重要业务系统：头寸系统中，实现了一栈式的数据服务，同时满足了高并发、低延时、数据一致性和高可用需求，解决了传统数据库的局限性。 汉口银行是一家总部位于武汉的城市商业银行，现有各类分支机构201家，近年来通过专业化经营和精细化管理，着力在科技金融、民生金融、小微金融、互联网金融等领域不断培育和塑造经营特色，可持续发展能力持续增强。根据英国《银行家》杂志排名，自2010年起，汉口银行一直跻身全球银行500强。汉口银行相继获评中国十...

作者：Fly-bird 前言：最近频繁出现的云服务环境的不稳定，对业务造成了一定的困扰，为了预防公有云和私有云带来的不稳定，我们选择了线下同城双机房+线上云服务的架构大家tidb集群，本次架构改造分为两步进行： 第一步：搭建同城双机房； 第二步：扩容公有云节点 通过两步走的方式实现混合云的部署，本文通过介绍在同城双机房公网环境下搭建TIDB集群，总结经验，查漏补缺，为第二步的扩容做知识储备。 由于专线费用较为昂贵，本文使用公网ip进行网络传输，此线路为公网，费用较低，为了安全，会设置3个公网ip之间的端口只允许ip之间互相访问。 一、集群架构 本集群使用位于无锡的两个机房，其中tidb...