更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着LLM技术应用及落地，数据库需要提高向量分析以及AI支持能力，向量数据库及向量检索等能力“异军突起”，迎来业界持续不断关注。简单来说，向量检索技术以及向量数据库能为LLM提供外置的记忆单元，通过提供与问题及历史答案相关联的内容，协助LLM返回更准确的答案。 不仅仅是LLM，向量检索也早已在OLAP引擎中应用，用来提升非结构化数据的分析和检索能力。ByteHouse是火山引擎推出的云原生数据仓库，近期推出高性能向量检索能力，本篇将结合ByteHouse团队对向量数据库行业和技术的前沿观察，详细解读OLA...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 新年伊始，我们想在这里感谢一群ByConity社区的小伙伴们。 正是因为有社区的开发者的支持，截止到2023年底，ByConityGitHub获得1409Star，595pullrequest，累计61位Contributor共建者参与代码贡献，社区主办活动超过10场，来自知乎、MetaApp、天翼云、Shein、烽火软件、携程等多家企业用户正在基于ByConity做技术实践和探索。 版本发布 2023年1月10日，ByConity发布Beta（v0.1.0-beta）版本，并在社区小范围征集用户试用，...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近期，火山引擎ByteHouse技术专家受邀参加DataFunCon2023（深圳站）活动，并以“火山引擎ByteHouse基于云原生架构的实时导入探索与实践”为题进行了技术分享。在分享中，火山引擎ByteHouse技术专家以Kafka和物化MySQL两种实时导入技术为例，介绍了ByteHouse的整体架构演进以及基于不同架构的实时导入技术实现。 随着企业降本增效、智能化数据决策需求的增强，传统的商业数据库已经难以满足和响应快速增长的业务诉求。在此背景下，云原生数据库成为大势所趋。云原生数据库基于云平...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 向量检索被广泛使用于以图搜图、内容推荐以及大模型推理等场景。随着业务升级与AI技术的广泛使用，用户期望处理的向量数据规模越来越大，对向量数据库产品的稳定性、易用性与性能需求也越来越高。为此火山引擎ByteHouse团队基于社区ClickHouse进行技术演进，提出了全新的向量检索功能设计思路，满足业务对向量检索稳定性与性能方面的需求。 在12月28-29日上海QCon全球软件开发大会上，火山引擎ByteHouse技术专家田昕晖将分享基于《云原生数仓ByteHouse构建高性能向量检索技术实践》话题。以下是...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着数字化转型的加速，企业面临着海量数据收集、处理和分析挑战。ClickHouse因其分析速度快、高性能的特点，被开发者广泛使用。 作为连接客户端和数据库之间的桥梁，网关也在性能层面起到了关键的作用。一款好的网关，不仅能提高性能和可用性，还为还能为系统的安全性和可管理性提供保障。而ClickHouse主流网关chproxy虽然使用范围广，但是也存在一定局限性。 作为火山引擎推出的云原生数据仓库，ByteHouse不仅为用户提供极速分析体验，能够支撑实时数据分析和海量数据离线分析，并且持续优化Click...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 DataTester，火山引擎推出的AB测试与智能优化平台，近日宣布对其MAB（Multi-armedBandit）功能进行了升级，以更好地满足企业营销决策的需求。MAB是一种通过不断尝试不同的选择来找到最优决策的算法，广泛应用于营销领域。DataTester的MAB功能已经在内部和外部得到了成功的验证。此次升级后，该功能将更加符合业务使用场景，帮助企业更快地找到最佳的营销策略。 在营销活动中，落地页是用户点击广告后进入的页面，是营销活动的重要环节之一。MAB算法可以通过动态调整进入到各个落地页的流量，从...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 面对今日头条、抖音等不同产品线的复杂数据质量场景，火山引擎DataLeap数据质量平台如何满足多样的需求？本文将介绍我们在弥合大数据场景下数据质量校验与计算消耗资源大、校验计算时间长的冲突等方面的经验，同时介绍火山引擎DataLeap数据质量平台是如何用一套架构框架来满足流批方面的数据质量监控。 什么是数据质量管理 广义上来说，数据质量的定义是数据满足一组固有特性（质量维度）要求的程度。业界通常有6个维度： 完整性：指数据的记录和信息是否完整，是否存在缺失的情况。数据缺失主要包括记录的缺失和记录中某个字...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 今年4月，火山引擎提出了数据驱动的新范式——数据飞轮。针对企业当下“有数据，但不驱动”的问题，“数据飞轮”以数据消费为核心，使企业数据流充分融入业务流，增强业务发展动力。而刚刚过去的“双11”，则成为在实践中检验“数据飞轮”真实成效的一次契机。 进入2023年，电商老板陷入普遍焦虑，时至今日，中国电商红利期已过，渗透率已几近饱和，流量吸引、用户留存等方面成为争夺市场的关键。双11大战前夕，一个消费品牌要备多少的货，要预测哪些产品能成为爆款，要花多少钱做营销，要找哪些达人营销……每一个决策，都像是一场豪赌。...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 面对今日头条、抖音等不同产品线的复杂数据质量场景，火山引擎DataLeap数据质量平台如何满足多样的需求？本文将介绍我们在弥合大数据场景下数据质量校验与计算消耗资源大、校验计算时间长的冲突等方面的经验，同时介绍火山引擎DataLeap数据质量平台是如何用一套架构框架来满足流批方面的数据质量监控。 什么是数据质量管理 广义上来说，数据质量的定义是数据满足一组固有特性（质量维度）要求的程度。业界通常有6个维度： 完整性：指数据的记录和信息是否完整，是否存在缺失的情况。数据缺失主要包括记录的缺失和记录中某个字...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 作为云计算的下一个迭代，Serverless可以使开发者更专注于构建产品中的应用，而无需考虑底层堆栈问题。伴随着近年来相关技术成熟度的增加，市场对Serverless的接受程度也变得越来越高。可以说时至今日，Serverless已迈入了向成熟稳定方向发展的高速轨道。 作为一款火山引擎推出的云原生数据仓库，ByteHouse基于开源ClickHouse构建，并在字节跳动内外部场景的检验下，对OLAP引擎能力、性能、运维、架构进一步升级。除此之外，ByteHouse也在Serverless方向探索，基于clo...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近期，火山引擎ByteHouse升级了基于ClickHouse的物化视图能力，为解决数据量爆炸式增长带来的查询速度和响应时间缓慢等问题提供了有效手段。 火山引擎ByteHouse是一款云原生数据仓库，为用户提供极速分析体验，能够支撑实时数据分析和海量数据离线分析，同时具备便捷的弹性扩缩容能力，极致分析性能和丰富的企业级特性。作为日常提高数据库查询性能和响应速度的一种实用技术，物化视图也是ByteHouse的核心能力之一。 据介绍，物化视图是一种以表格形式存储的结果集合，它通过在后台对视图进行计算并将结果存...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，中国知名内容社交平台整合营销企业仟传网络与火山引擎ByteHouse达成合作。仟传网络将通过火山引擎ByteHouse升级底层数据引擎的实时查询、分析能力，在降低资源成本的情况下，实现高吞吐、低延时、高稳定性，为品牌方提供全方位的舆情监测服务。 仟传网络是一家AI驱动的社媒大数据解决方案提供商，旨在运用独有大数据及自主研发系统赋能，为企业级客户提供更有价值的KOL及公/私域流量经营解决方案，并提供社媒聆听、行业洞察、SCRM系统管理等综合的数字营销及管理服务，为广告主构建涵盖传播、投放、监测、评...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 背景 业务背景 随着字节业务的高速增长，业务场景越来越丰富，业务基于数据做的决策也越来越多，对数据的时效性要求也越来越高。原有离线批处理的数据仓库已经无法满足诉求，因此需要打造一套同时具备高时效性和高稳定性的计算能力快速完成对数据的处理，即实时数仓。 团队介绍 直播实时数仓团队隶属于Data-数据平台部门，负责为直播中台业务建设实时数据仓库，为业务侧数据产品提供实时数据能力。 痛点 高收益意味着高风险也同时存在，例如数据时效性方面更新延迟超过15分钟，就会有高客诉、甚至资损风险。 2023年之前，各业...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎ByteHouse正式宣布与ApacheAirflow兼容，两者结合不仅可以高效地存储和处理大量数据、实现更便捷的数据管理，还可以使得数据基础设施的设置和维护变得无缝化。 ApacheAirflow是一款用于设计、编排和监控工作流的开源管理平台，ApacheAirflow直观界面使用户能够通过可视化DAG（有向无环图）编辑器创建和调度工作流，减少手动工作量，实现更高效的数据管理。 ByteHouse是火山引擎推出的一款云原生数据仓库，具有强大的数据处理和分析能力，支持实时和离线导入，能...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 【导读】本文旨在探讨火山引擎DataLeap在处理计算治理过程中所面临的问题及其解决方案，并展示这些解决方案带来的实际收益。主要内容包括： 探讨面临的痛点和挑战 提供自动化的解决方案 分析实践效果和收益 提出结论和未来展望 ▌痛点&挑战 在分析业务痛点和挑战之前，先要清楚业务现状。 现状概览 字节跳动数据平台目前使用了1万多个任务执行队列，支持DTS、HSQL、Spark、Python、Flink、Shell等50多种类型的任务。 自动计算治理框架目前已经完成了离线任务的接入，包括H...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 AB测试不仅是做增长的“利器”，也是企业优化效率、增加决策精确度的有效工具。随着国内企业服务市场需求的多元，企业对AB测试平台的“个性化”要求也更高。在此背景下，火山引擎DataTester着手打造开放平台，力求为企业提供可选择的丰富的开放能力。 火山引擎DataTester上线的「集成工作台」功能，能够将DataTester的能力与企业自身的系统进行打通，减少系统之间的多次跳转。帮助企业打造专属AB平台，满足企业的个性化诉求，大幅降低企业服务的应用成本并提升用户使用体验。该功能可以通过完善的引导，进行一...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 作为云计算的下一个迭代，Serverless可以使开发者更专注于构建产品中的应用，而无需考虑底层堆栈问题。伴随着近年来相关技术成熟度的增加，市场对Serverless的接受程度也变得越来越高。可以说时至今日，Serverless已迈入了向成熟稳定方向发展的高速轨道。 作为一款火山引擎推出的云原生数据仓库，ByteHouse基于开源ClickHouse构建，并在字节跳动内外部场景的检验下，对OLAP引擎能力、性能、运维、架构进一步升级。除此之外，ByteHouse也在Serverless方向探索，基于clo...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 用户激励体系，也称用户激励机制，是为了让用户持续使用产品，而设计的一套对应规则。在用户激励体系建立过程中，产品可以通过一系列方式，如金币赚取、积分奖励等，让用户完成一系列动作，提升活动参与率、扩散传播率，最终提升用户的产品粘性。在这个过程中，产品经常用会用到AB测试，来进行激励策略的完善和优化。 本文将选取用户激励体系建设中，最常用到的3种AB实验形式，介绍AB测试如何应用在产品激励体系的建设中。 积分策略实验 奖品选取实验 领奖链路实验 首先是积分策略实验，用户激励体系中常见的积分策略，是用户完成...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群   作为云计算的下一个迭代，Serverless可以使开发者更专注于构建产品中的应用，而无需考虑底层堆栈问题。伴随着近年来相关技术成熟度的增加，市场对Serverless的接受程度也变得越来越高。可以说时至今日，Serverless已迈入了向成熟稳定方向发展的高速轨道。   作为一款火山引擎推出的云原生数据仓库，ByteHouse基于开源ClickHouse构建，并在字节跳动内外部场景的检验下，对OLAP引擎能力、性能、运维、架构进一步升级。除此之外，ByteHouse也在Server...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 作为企业数字化建设的必备要素，易用的数据引擎能帮助企业提升数据使用效率，更好提升数据应用价值，夯实数字化建设基础。 数据导入是衡量OLAP引擎性能及易用性的重要标准之一，高效的数据导入能力能够加速数据实时处理和分析的效率。作为一款OLAP引擎，火山引擎云原生数据仓库ByteHouse源于开源ClickHouse，在字节跳动多年打磨下，提供更丰富的能力和更强性能，能为用户带来极速分析体验，支撑实时数据分析和海量离线数据分析，具备便捷的弹性扩缩容能力，极致的分析性能和丰富的企业级特性。 随着ByteHous...