Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 FlinkCDC ApacheFlinkCDC（ChangeDataCapture）是指ApacheFlink使用基于SQL的查询从各种来源捕获和处理实时数据更改的能力。CDC允许监视和捕获数据库或流系统中发生的数据修改（插入、更新和删除），并对这些更改进行实时响应。 Databend现在提供FlinkSQLConnecto...

作者：尚卓燃（PsiACE）澳门科技大学在读硕士，Databend研发工程师实习生 ApacheOpenDAL(Incubating)Committer https://github.com/PsiACE 几周前，Databricks和Snowflake召开了各自的年度大会，除了今年一路持续走红的AI，数据湖/数据仓库技术的发展仍然值得关注，毕竟数据才是基本盘。ApacheIceberg无疑是数据湖方案的大赢家，Databricks新推出的UniForm为以ApacheIceberg和Hudi表格式读取Delta中的数据提供了进一步的支持。而Snowflake也适时推出了IcebergT...

作者：尚卓燃（PsiACE） 澳门科技大学在读硕士，Databend研发工程师实习生 ApacheOpenDAL(Incubating)Committer https://github.com/PsiACE 云计算为以数据为中心的应用提供了廉价、弹性、共享的存储服务，这为现代数据处理工作流提供了显而易见的好处：海量数据、高并发访问、大吞吐量，越来越多的案例开始将旧有的技术栈向数据湖架构进行迁移。 当我们将数据湖置于云端之后，新的问题随之而来： 旧有的数据仓库/大数据分析技术可能并不是专为云和对象存储设计的，性能和兼容性可能不太理想，需要投入大量的资源进行维护，如何为数据湖提供真正现代的...

作者：白珅 Databend 研发工程师 https://github.com/b41sh 为什么需要SQLSmith？ 在数据库系统的开发和维护过程中，测试扮演着至关重要的角色。它不仅可以验证功能的正确性，还可以发现潜在的问题，确保数据库在每个变更和迭代后保持性能和稳定性。Databend的CI已经支持了多种类型的测试，主要包括： 单元测试（UnitTests）：用于验证代码中最小可测试单元的功能是否正常工作，主要针对函数、模块等基本功能点，确保其能够正确执行，并返回预期的结果。 SQL逻辑测试（SQLLogicTests）：通过SQL测试用例来验证SQL的语法和逻辑的正确...

本文整理于上周六（10月21日）DataInfra第16期的活动内容。本次活动由Databend研发工程师-王旭东为大家带来了一场主题为《Databendhashjoinspill设计与实现》的分享，让我们一起回顾一下吧 以下是本次活动的相关视频、资料及文字： 通过本次分享，我们能更加了解 Databend 的 hashjoinspill 的设计与实现，以及学习如何使用 spill 功能。 本次活动回放也可在B站上找到： 🔗  Databendhashjoinspill设计与实现 此次活动的讲稿和相关资料都可以在...

本周六，我们将迎来最新一期的DataInfra直播活动，本次活动我们邀请到了Databend研发工程师-王旭东，与大家分享主题为《Databendhashjoinspill设计与实现》的相关知识。 通过本次分享，我们能更加了解Databend的hashjoinspill的设计与实现，以及学习如何使用spill功能，欢迎各位小伙伴的参与。 ⏰活动时间：北京时间10月21日上午10:0011:00（周六） ConnectWithUs Databend是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源DataCloud。 D...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 聚合索引 Databend最近引入了聚合索引以提高查询性能，特别是涉及MIN、MAX和SUM等聚合查询的场景下。聚合索引使用预计算和独立存储查询结果等技术，从而消除了扫描整个表的需要，加快了数据检索速度。 此外，该特性还附带刷新机制，支持按需更新和保存最新查询结果，从而保持数据的准确性和可靠性。Databend建议在执行相...

2023年6月24日，北京数变科技有限公司和腾讯云计算（北京）有限责任公司（以下简称：腾讯云）完成了DatabendCloud在腾讯云兼容性认证。 本公司的产品《Databend云数据仓库系统V1.0》 正式通过了腾讯云产品《腾讯云容器服务v3COS对象存储》的技术认证，并收到了腾讯云颁发的产品认证证书。测试结果显示，经过严格联合测试，双方产品相互兼容良好、运行稳定。 腾讯云是由腾讯集团倾力打造的云计算品牌，面向全世界各个国家和地区的政府机构、企业组织和个人开发者，提供全球领先的云计算、大数据、人工智能等技术产品与服务。以卓越的科技能力打造丰富的行业解决方案，构建开放共赢的云端生态...

各位社区小伙伴们，Databend于2023年6月29日迎来了v1.2.0版本的正式发布！相较于v1.1.0版本，开发者们一共新增了600次commit，涉及3083个文件变更，约17万行代码修改。感谢各位社区伙伴的参与，以及每一个让Databend变得更好的你！ 在v1.2.0版本中，Databend新增了BITMAP数据类型、使用列号直接查询CSV/TSV/NDJSON文件、AIFunctions等特性，设计并实现全新哈希表大幅提升Join的性能。这个版本的发布使得Databend更接近实现LakeHouse的愿景，能够直接读取和分析储存在对象存储上的CSV/TSV/NDJSON/Par...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 Databendv1.2正式发布 Databendv1.2.0已于2023年6月29日正式发布！感谢各位社区伙伴的参与，以及每一个让Databend变得更好的你！ 新版本有许多新功能,包括： BITMAP数据类型 使用列号直接查询CSV/TSV/NDJSON文件 设计并实现全新哈希表大幅提升Join的性能 AIFuncti...

作者：王旭东Databend研发工程师https://github.com/xudong963 在SQL查询中，子查询是一种常用的技术，它允许我们在一个查询内部嵌套另一个查询，以实现更复杂的数据检索和分析。如何在数据库内核中高效的处理子查询是非常有挑战的，本文将介绍如何在Databend中构建state-of-art的子查询optimizer。 从宽泛的角度，子查询分为关联和非关联子查询,细分的种类包含：SCALAR/ANY/ALL/SOME/(NOT)IN/(NOT)EXISTS.对于每一种子查询的含义，读者可以参考: https://www.postgresql.org/d...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 教程|使用AWSIAM用户创建ExternalStage AWSIdentityandAccessManagement(IAM)允许你通过指定授权用户或实体来控制对AWS服务和资源的访问。另外，IAM还支持集中管理精细权限，以及分析整个AWS平台上的访问模式以优化权限。 Databend支持使用AWSIAM用户创建Exte...

此前，由InfoQ中国举办的QCon全球软件开发大会在广州圆满落幕。本次大会有近百位国内外技术大咖现场分享前沿技术案例与创新实践，共有十二个专题，近五十余场分享。DatabendCloud联合创始人张雁飞受邀参与了此次技术盛宴，并在新型数据库专场进行了一次主题为《Databend:大模型时代的CloudWarehouse设计探索》的演讲。 演讲嘉宾：张雁飞Databend:https://github.com/datafuselabs/databend 嘉宾介绍：DatabendCloud联合创始人，前阿里云数据库内核组早期成员、前青云数据库团队负责人。开源Databend项目主要负责人。 ...

Tableau是一款流行的数据可视化和业务智能工具。它提供了直观、交互式的方式来探索、分析和呈现数据，帮助用户更好地理解数据的意义和洞察。 本教程帮助用户在Tableau中连接databend进行BI数据分析。 Databendjdbc Tableau支持所有实现了JDBC协议的数据源，所以需要先准备好databendjdbc的jar文件。 gitclonehttps://github.com/databendcloud/databend-jdbc cddatabend-jdbc mvncleaninstall-DskipTest 然后将编译好的databend-jdbc.jar拷贝到Tab...

近日，北京数变科技有限公司与北京青云科技股份有限公司(以下简称：青云科技）顺利完成了产品兼容性适配互认证。本次测试是对Databend云原生数据仓库系统与青云科技公司自主研发的QingStorU10000进行严格的联合测试验证。测试结果显示，经过严格联合测试，双方产品完全相互兼容，系统运行稳定、安全，满足性能和功能要求。能够为用户提供安全可靠的解决方案。 青云科技，于2021年3月在上交所科创板上市，是一家技术领先的企业级云服务商与数字化解决方案提供商。公司坚持核心代码自研，以顶尖的技术实力见长，构建起端到端的数字化解决方案，持续打造云原生最佳实践，以中国科技服务数字中国。青云科技是最早布局混...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 为指定列创建BloomIndex 创建bloomindex将会消耗大量CPU资源。对于仅有少数列涉及点查或者对数据摄入性能比较看重的宽表来说，为所有列都创建bloomindex可能不是什么好选择。 DatabendFuseEngine新增对bloom_index_columns选项的支持，这意味着你可以按需为指定列创建blo...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 创建网络策略 网络策略（NetworkPolicies）是一组用于管理Databend服务网络配置的选项。你可以使用网络策略来限制访问帐户的用户IP地址。 要创建一组网络策略，可以使用以下SQL： CREATENETWORKPOLICY<policy-name>ALLOWED_IP_LIST=(<allow...

作者：苏琳 多点DMALL供应链补货团队负责人 多点DMALL成立于2015年。从创立伊始，就致力于以大数据、云计算、AI等数字技术改变零售业，是一站式全渠道数字零售解决方案服务商，数字化解构重构零售产业，提供端到端的商业SaaS解决方案。 多点DMALL通过DMALLOS提供零售云一站式解决方案，帮助零售商和品牌商数字化转型，实现线上线下一体化；同时通过多点App等工具赋能全渠道经营能力，并提供各类增值服务。 需求概述 商家要求支持4个月的日志查询，目前线上只支持1个月。每天日志是400万行项，1个月的日志量是1.2亿， 考虑到后续业务的增长，预计每月日志数据量会增长到2.5...

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。 What'sOnInDatabend 探索Databend本周新进展，遇到更贴近你心意的Databend。 从Kafka载入数据 ApacheKafka是一款开源的高性能、分布式消息队列，为处理实时数据提供了一个统一、高吞吐量、低时延的平台。 Databend设计并实现了高性能的数据摄入工具bend-ingest-kafka，专门用于将来自Kafka的数据载入到Databend中，可以简化数据摄取工作流程。 如果您想了解更多信息...

作者：韩山杰DatabendCloud研发工程师https://github.com/hantmac 简介 DebeziumServerDatabend是一个基于DebeziumEngine自研的轻量级CDC项目，用于实时捕获数据库更改并将其作为事件流传递最终将数据写入目标数据库Databend。它提供了一种简单的方式来监视和捕获关系型数据库的变化，并支持将这些变化转换为可消费事件。 使用Debeziumserverdatabend实现CDC无须依赖大型的DataInfra比如Flink,Kafka,Spark等，只需一个启动脚本即可开启实时数据同步。 这篇教程将展示如何基于Debezi...