vCSp9LXKXznN
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 9月19日，火山引擎“数据飞轮·V-Tech数据驱动科技峰会”在上海举办。会上重磅发布数智平台VeDI应用大模型（LargeLanguageModels）能力，并进一步解读了数据飞轮的行业应用与实践。作为核心参展产品之一，火山引擎ByteHouse提供了“开箱即用”的产品能力展示，让观众通过展区的上手实操环节，更直观体验到ByteHouse完善的产品能力和易用性。 数据作为新型生产要素，正支撑企业的数智化转型。但企业数字化建设也存在管理成本高、数据产品使用门槛高、数据资产价值不够的问题，其原因在于业...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 背景介绍 Notebook解决的问题 部分任务类型（python、spark等）在创建配置阶段，需要进行分步调试； 由于探索查询能力较弱，部分用户只能通过其他平台or其他途径进行开发调试，但部署到Dorado时，又发现行为不一致等问题（运行环境问题），整体体验较差，需要提升探索查询模块的能力； 目前探索查询仅支持SQL，可支持更多语言类型，扩展数据开发手段； 总体架构介绍 火山引擎DataLeapnotebook主要是基于JupyterHub、notebook、lab、enterprisekernel...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎数智平台举办了“走进火山-全链路增长：数据飞轮转动消费新生力”的活动，其中火山引擎数智平台DataTester产品负责人分享了火山引擎AB测试（DataTester）在消费行业的应用实践，并发布了产品近期升级的全新功能——MAB智能调优实验。 在过去，一个产品新功能的效果评估往往会根据功能上线前后的数据对比得出。这种方式其实存在很多缺陷，比如，在实践中很多影响因素并未被剔除，导致数据不严谨、不可信，从而评估结果不准确。 A/B测试则是通过科学设计的随机抽样实验，完全剔除其他因素，从而得到一个...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 2023年汽车行业新车市场低靡，由新车降价引发的车辆价格波动很快传导到二手车市场，二手车的交易也受到了冲击，收车验车更加谨慎，诸多二手交易平台想要保障平台的交易率也变得竞争激烈。二手车交易平台需要吸引各方平台上交易，既要有卖家又要有买家，各方的体验在平台上均需要保障良好，才能顺利完成交易，因此想要优化平台的流程以及各类功能成为非常的关键点。 本期火山引擎AB测试企业诊断屋，将剖析一个汽车二手交易平台，在开发了自己的APP之后如何不断优化满足消费者需求的企业案例，看二手车交易平台如何应用AB实验优化产品满...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform(ELT)。将来源不同、格式各异的数据提取到数据仓库中，并进行处理加工。 传统的数据转换过程一般采用Extract-Transform-Load(ETL)来将业务数据转换为适合数仓的数据模型，然而，这依赖于独立于数仓外的ETL系统，因而维护成本较高。现在，以火山引擎ByteHouse为例的云原生数据仓库，凭借其强大的计算能力、可扩展性，开始全面支持Extract-Load-Tra...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 自上世50年代，以“计算机”作为代表性象征的信息革命开始，社会对于先进生产力的认知便开始逐步更迭——从信息化（通常认为是把企业中的信息资源与信息技术有机结合，从而提高企业的管理水平和效率）到数字化（普遍认为是以数据分析为核心，利用各种业务数据去反哺和优化业务过程）转变。 企业希望通过数字化来突破业务瓶颈，实现转型升级。而这期间，数据作为新的生产要素，其重要性毋庸置疑。 9月19日，2023火山引擎数据驱动科技峰会发布数据产品大语言模型（LargeLanguageModels）应用：DataLeap-...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，联合火山引擎开发者社区，火山引擎数智平台（VeDI）《数智化转型背景下的火山引擎大数据技术揭秘》主题Meetup暨超话数据特别场正式在深圳举办，邀请到了Datasail、DataLeap、ByteHouse、EMR、LAS等多条数智平台（VeDI）产品线的专家带来大数据技术干货分享。 如今各个企业面临的是更变幻莫测的市场、更复杂的内部架构、更进退失据的现状。在这种现状下，各个企业如何顺利的完成数字化转型？ 今年4月上海举办的春季FORCE原动力大会上，火山引擎正式提出了“数据飞轮”的数字化建...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 北京国联视讯信息技术股份有限公司与火山引擎数智平台VeDI的合作进入新阶段，双方将继续聚焦国联股份自建的数字营销平台「国联云销通」，在市场数据洞察和数据实时计算两方面开启新探索。 成立于2002年的北京国联视讯信息技术股份有限公司（以下简称“国联股份”）是国内领先的B2B电子商务和产业互联网平台，为多个行业提供工业品和原材料的网上商品交易、商业信息服务和互联网技术服务。 目前，国联股份已经拥有覆盖100多个工业领域行业，超280.85万注册会员企业的B2B信息服务平台「国联资源网」，并先后上线了包括...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 在字节跳动内部，DataLeap数据平台数据治理团队致力于建立一站式、全链路的数据治理解决方案平台。 数据治理的概念 数据治理是一种数据管理的概念，确保组织能在数据的全生命周期中具有高质量的数据质量能力，并且实现对数据的完全管理，以支持业务的目标。 在这里面有些关键词：在一些组织、一些公司内部关注的是数据全生命周期，希望它有一个较高的质量，目标则是用来支持业务。 所以数据治理的目标主要由以下几点构成： 第一，最大化数据价值。 第二，管理数据的风险。 第三，降低数据的成本。 数据治理是一个比较大的概念。它包...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 如今中企出海的形态愈加多样，很多企业都建有独立站可直接触达海外客户，但获取优质流量的成本会更加高昂。当优质流量到来后，提升流量转化、提高用户粘性，才会带来更高的ROI。 而选项不匹配、内容不符预期、操作繁杂等原因都会拉低转化率。例如用户看到感兴趣的商品后点击查看，进去却发现不是自己所需商品，或找不到快速购买按钮，都会导致快速跳出。因此企业在服务不同的受众时，需要迎合不同受众群体喜好，而此时较好的解决方案是AB测试。以火山引擎AB测试平台（DataTester）为例，其提供的MVT实验（可视化多变体实验）、...
简介 本文面向BitSail的Connector开发人员，通过开发者的角度全面的阐述开发一个完整Connector的全流程，快速上手Connector开发。 目录结构 首先开发者需要通过git下载最新代码到本地，并导入到IDE中。同时创建自己的工作分支，使用该分支开发自己的Connector。项目地址：https://github.com/bytedance/bitsail.git。 项目结构如下： 开发流程 BitSail是一款基于分布式架构的数据集成引擎，Connector会并发执行。并由BitSail框架来负责任务的调度、并发执行、脏数据处理等，开发者只需要实现对应接口...
在国内互联网领域，字节跳动是最为推崇A/B测试的公司，旗下“抖音”、“今日头条”两大最著名产品，连APP的名字都是来源于A/B测试。 A/B测试（也叫AB实验）也被称为对照实验，其方法是针对某个要优化的产品功能或策略，制定两个或多个方案，将用户流量随机分成多组，在保证每组用户特征相同的前提下，让不同组分别看到/使用不同的方案。最终结合科学的统计算法，通过实验数据对比来确定最优解。 在字节，每天会开启1500余个A/B测试的运行，以抖音为例，应用上的每一个微小细节改动前必然也都会通过A/B测试来确认用户体验。 一次，抖音的UI设计师提出，或许可以优化文字和视频内容之间的蒙层，让视频界面上的文字更...
导读 BitSail是字节跳动开源数据集成引擎，支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下全域数据集成解决方案，目前支撑了字节内部和火山引擎多个客户的数据集成需求。经过字节跳动各大业务线海量数据的考验，在性能、稳定性上得到较好验证。 10月26日，字节跳动宣布BitSail项目正式在GitHub开源，为更多的企业和开发者带来便利，降低数据建设的成本，让数据高效地创造价值。本篇内容将围绕BitSail演讲历程及重点能力解析展开，主要包括以下四个部分： 字节跳动内部数据集成背景 BitSail技术演进历程 BitSail能力解析 未来展望 字节跳动内部数据集成背景 ...
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近期，火山引擎DataLeap上线“动态探查”能力，为用户提供全局数据视角、完善的抽样策略，提高数据探查的灵活度以及响应速率。 传统的数据探查是基于库表的全量探查，由后端引擎执行，通过自动化检查数据成分、关系、格式等，以报告形式展示探查后列的统计分布结果，避免数据质量导致项目开发、上线出现问题，主要应用于元数据管理、数据研发、数仓开发以及数据治理等环节，满足使用者对数据质量初探的需求。 但在数据量级大、用户需要探查数据明细或需要数据预处理操作时，由于传统的数据探查要对全量表进行检测，导致无法实时产出报告、...