2023年12月7日，作为KubeSphere的合作伙伴，Databend荣幸地受邀参与了KubeSphere社区主办的云原生技术直播活动。本次活动的核心议题为「Databend云数仓与DatabendPlayground扩展组件介绍」，此次分享由DatabendLabs的研发工程师尚卓燃担任主讲嘉宾，向与会者呈现了一场内容丰富的在线分享会。 大纲回顾 什么是Databend Databend是一款使用Rust研发的新一代云原生数据仓库，完全面向云架构并基于对象存储构建。它具备即时扩缩容能力，能够在数分钟内增加数百倍的算力，为企业提供了一个基于对象存储、湖仓一体化、计算和存储分离的大数据管...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 新增对Delta和Iceberg表引擎的支持 Databend新增对Delta和Iceberg格式表引擎的支持，以帮助用户对接由不同数据湖管理的表。 下面的例子展示了如何利用Delta表引擎和CONNECTION创建存储位于S3上的Delta表： createconnectionmy_s3_connstorage_type...

2023年12月8日，OSCHINA对其平台上众多认证的官方技术团队和开源社区进行了全面评估，并颁发了“2023年度优秀开源技术团队”奖项，以表彰各团队在推动中国开源生态系统发展方面所展现的创新能力和显著贡献。 在这一评选中，Databend开源社区有幸获得了2023年度优秀开源技术团队的称号，此奖项基于技术团队在平台上发布的内容的深度和广度、以及各种活动运营的影响力等多方面表现而颁发。这一荣誉证明了Databend开源社区在开源领域的影响力和贡献度，同时也是对其助力中国开源生态繁荣发展的认可。

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 支持统计和显示合并状态 Databend现在支持统计和显示MERGEINTO的状态，在执行合并之后，会返回受更新/删除/插入影响的行数： 🐳:)createtablet1(aint); 🐳:)createtablet2(bint); 🐳:)insertintot1values(1),(3); 🐳:)insertin...

在当今快速发展的技术浪潮中，Rust作为一种新兴的编程语言，凭借其卓越的内存安全特性和高效的性能，吸引了全球开发者的广泛关注。2023年12月05日，由DatabendLabs主办的首届RustyTuesday活动正式在北京揭开序幕。 在本次活动中，我们非常荣幸地邀请到了多位行业精英：Rust语言的核心开发者、Rust基金会的创始成员之一兼FerrousSystem创始人FlorianGilcher、Simens的资深开发者DanielBovensiepen与Felix，斑马智行的Frank以及Rust中文社区布道师张汉东先生，与Databend团队共同探讨和分享Rust的最新进展和应用实践。...

背景 在数据库行业，质量是核心要素。 Databend的应用场景广泛，特别是在金融相关领域，其查询结果的准确性对用户至关重要。因此，在快速迭代的过程中，如何确保产品质量，成为我们面临的重大挑战。 随着Databend开源社区的快速发展，新功能的持续增加和现有功能的优化提出了新的测试挑战。我们致力于在每次代码更新中实施严格的测试，确保稳定性并防止任何潜在问题。 Databend  的测试方法 为了确保软件的稳定性和可靠性，Databend的测试方法覆盖从代码级到系统级的各个方面。 UnitTests 单元测试作为测试的基石，着重验证代码的基本功能和逻辑。我们在每次代码提交前...

12月5日，DatabendLabs旗下DatabendPlayground（社区尝鲜版）成功上架青云科技旗下KubeSphereMarketplace云原生应用扩展市场，为用户提供一个快速学习和验证Databend解决方案的实验环境。 关于DatabendPlayground Databend是使用Rust研发、完全⾯向云架构、基于对象存储构建的新一代云原生数据仓库。具有即时扩缩容能力，能在数分钟内增加数百倍的算力，为企业提供了一个基于对象存储、湖仓一体化、计算和存储分离的大数据管理和分析集中式平台。实现了一份数据，统一计算入口，供多用种业务使用，从而助力企业更准确地洞察业务、制定战略，很...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 支持链式函数调用 Databend现在提供实验性的SQL方言，以支持链式函数调用。 如果想要尝试这一特性，请执行下面SQL语句： setsql_dialect='experimental'; 对应的语法如下： 🐳:)witht(f)as(select'11|open|22|ai|33|isnothingwithouts...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 支持追加流 Databend现在支持CREATESTREAM语法，为表创建对应的追加流。追加流仅跟踪插入操作，不会记录更新和删除操作。 对应的语法如下： CREATESTREAM[IFNOTEXISTS][<database>.]<stream> ONTABLE[<database>.]...

背景 Databend是一款基于对象存储的存算分离湖仓产品，已成为云上大数据分析中高效且低成本的首选解决方案。目前，Databend在多个用户场景中得到广泛应用，包括： 新媒体行业数据分析及大屏数据展示 云上CDH替代以减少本地磁盘和资源占用 性能明显提升的云上Greenplum替代方案 降低用户管理复杂度的云上Clickhouse替代方案 ... Databend将数据持久化存储在对象存储中，计算层无状态且可随意扩展。同时，Databend还充分利用云上对象存储的无需虚拟专用网络（VPC）的特性，实现了一个统一化的湖仓解决方案。 在云上构建大数据环境时，有两个昂贵的成本需要考虑： 本...

作者：Xuanwo DatabendLabs成员，数据库研发工程师 https://github.com/xuanwo 我即将分享一个冗长的故事，从OpenDAL的op.read()开始，以一个意想不到的转折结束。这个过程对我来说非常有启发性，我希望你也能感受到。我会尽力重现这个经历，并附上我一路学到的教训。让我们开始吧！ 所有的代码片段和脚本都可以在Xuanwo/when-i-find-rust-is-slow中找到。 OpenDALPython绑定比Python慢？ OpenDAL是一个数据访问层，允许用户以统一的方式从各种存储服务中轻松高效地获取数据。我们通过pyo3为Open...

开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，旨在鼓励在校学生积极参与开源软件的开发维护，培养和发掘更多优秀的开发者，促进优秀开源软件社区的蓬勃发展，助力开源软件供应链建设。 官方网站https://summer-ospp.ac.cn/ 在开源之夏2023活动中，Databend社区共发布两个项目，一个顺利结项，并在开源之夏结业项目中进行展示，可以访问开源之夏2023结项公示查看。 另一个项目未能按照时间计划推进相关工作，项目经由社区接手完成。 项目1：实现DatabendUDFServer 该项目的主要目标是实现一个DatabendUDFServer...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 使用自定义CONNECTION管理存储访问 Databend现已提供对CONNECTION的初步支持，以保存由外部存储服务生成的身份凭据和访问管理实体，提供方便且一致的访问控制体验。 下面的示例展示了如何使用CONNECTION保存S3对象存储的访问凭据，并且用于Stage创建。 CREATECONNECTIONmy_co...

某主营虚拟社交的AIGC领域海外初创公司，致力于将虚拟世界与现实世界联系起来。旗下平台基于开源的StableDiffusion生态，专注于动漫角色制作，提供集AI绘图、图片搜索与社交分享于一体的一站式服务。 DatabendCloud提供了易用、高效率和经济高效的大数据处理方案。通过选用DatabendCloud进行分析处理，该初创公司将用户行为日志分析成本降低至原有方案的百分之一。 需求分析 在平台上，要想生成满意的动漫角色，涉及模型选择、Prompt编写、作品调优等多个交互环节，对于特定的需求，还可能涉及图片上传及编辑等功能。 社交属性的产品关注用户粘性和行为，而AIGC产品又格外注重交...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 用户案例：DatabendCloud在AIGC初创公司中的应用 DatabendCloud提供了易用、高效率和经济高效的大数据处理方案。通过选用DatabendCloud进行分析处理，某AIGC初创公司将用户行为日志分析成本降低至原有方案的百分之一。 目前使用DatabendCloud解决用户行为分析和根本原因分析的需求...

海外某电信，是某国的主要国有电信服务供应商，不仅致力于为民众和企业提供全面的电信服务，还肩负着推动国家通信基础设施和信息技术进步的重任。在数字化转型的关键时期，海外某电信选择与Databend携手合作，开启了数据驱动业务决策的新篇章。 为什么选择Databend 海外某电信面临的主要挑战是随着业务量的增加，传统的Clickhouse+Hive方案在数据存储和处理上开始显露不足。 原来的大数据分析采用的Clickhouse+Hive方案进行离线的实时报表。但随着业务量的上升后，Hive的数据存储压力变大，且Hive缺乏索引设计，导致存储压力巨大，每天需要进行大量的中转和数据比对工作。同时Cli...

作者：张祖前 DatabendLabs成员，数据库研发工程师 https://github.com/zhyass ❤️ 友情提示：代码演进较快，请注意文档的时效性哦！ 引言 Databend将存储引擎抽象成一个名为Table的接口，源码位于query/catalog/src/table.rs。 Table接口定义了read、append、alter、optimize、truncate以及recluster等方法，负责数据的读写和变更。解释器（interpreter）通过调用Tabletrait的方法生成物理执行的pipeline。 通过实现Table接口的方法，可以定义Data...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 特性预览：只读式ATTACHTABLE 为了少数几条大规模查询，而不得不维护大量的常驻资源，为企业带来了高昂的维护成本。如何混合本地和云工作负载，利用DatabendCloud的即时扩展能力，在保证查询可靠性的同时，进一步降低私有实例的常驻数量，节约维护成本？ Databend近期提供只读式ATTACHTABLE，允许在本...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 特性预览：使用SQL管理后台任务 此前，Databend引入了后台服务（ServerlessBackgroundService）以允许Databend执行后台单次作业或以守护进程模式运行cron作业，从而简化数据维护任务管理的复杂性。 为了便于创建、管理和维护后台任务，Databend近期支持了包括CREATETASK,A...

LFEdgeeKuiper LFEdgeeKuiper是Golang实现的轻量级物联网边缘分析、流式处理开源软件，可以运行在各类资源受限的边缘设备上。eKuiper的主要目标是在边缘端提供一个流媒体软件框架（类似于ApacheFlink(opensnewwindow)）。eKuiper的规则引擎允许用户提供基于SQL或基于图形（类似于Node-RED）的规则，在几分钟内创建物联网边缘分析应用。具体介绍可以参考[LFEdgeeKuiper超轻量物联网边缘流处理软件(https://ekuiper.org/docs/zh/latest/)。 DatabendSqlSink eKuiper支持通...