为了方便报表应用使用数据，需将ADS各项指标统计结果导出到MySQL，方便熟悉SQL人员使用。 1MySQL建库建表 1.1创建数据库 创建car_data_report数据库： CREATEDATABASEIFNOTEXISTScar_data_report 字符集 DEFAULTCHARSETutf8mb4 排序规则 COLLATEutf8mb4_general_ci; 1.1.2创建表 ①里程相关统计 创建ads_mileage_stat_last_month表，存储里程相关统计数据。 DROPTABLEIFEXISTSads_mileage_stat_last_month; CRE...

优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。 1设计要点 （1）ODS层的表结构设计依托于从业务系统同步过来的数据结构 （2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip （3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。 2相关表 2.1整车日志表（增量日志表） CREATEEXTERNALTABLEods_car_data_inc ( `vin`STRINGCOMMENT'汽车唯一ID', `car_status`INTCOMMENT'车辆状态...

是的，\t是指制表符（tab），它通常用作字段分隔符在TSV（Tab-SeparatedValues）格式的文件中。TSV是一种简单的文本格式，它使用制表符来分隔每一列中的值，而每一行则代表一个数据记录。 TSV文件例： ID\tName\tAge\tCity 1\tJohnDoe\t28\tNewYork 2\tJaneSmith\t32\tLosAngeles 上面的例子中，\t表示每个值之间的制表符，用来区分不同的列。当你在文本编辑器或者代码中见到\t，它代表的在实际的文件中通常是一个不可见的制表符。在大多数编程语言中，比如Python、Java等，制表符可以用转义字符"\t"来表示。...

2024年3月4日，官方宣布推出Claude3模型系列，它在广泛的认知任务中树立了新的行业基准。该系列包括三个按能力递增排序的最先进模型：Claude3Haiku、Claude3Sonnet和Claude3Opus。每个后续模型都提供越来越强大的性能，允许用户为其特定应用选择智能、速度和成本之间的最佳平衡。 Opus和Sonnet现在已经可以在claude.ai和目前在159个国家普遍可用的ClaudeAPI中使用。Haiku很快也会上市。 Claude3模型系列 智能新标准 Opus，Claude最智能的模型，在大部分常用的AI系统评估基准上表现优于同行，包括本科水平专家知识（MMLU）...

两种用于优化查询性能的数据组织策略，数仓设计的关键概念，可提升Hive在读取大量数据时的性能。 1分区（Partitioning） 根据表的某列的值来组织数据。每个分区对应一个特定值，并映射到HDFS的不同目录。 常用于经常查询的列，如日期、区域等。这样可以在查询时仅扫描相关的分区，而不是整个数据集，从而减少查询所需要处理的数据量，提高查询效率。 物理上将数据按照指定的列（分区键）值分散存放于不同的目录中，每个分区都作为表的一个子目录。 创建分区表 CREATETABLEorders( order_idINT, order_dateDATE, order_customerINT, order_...

1LucidChart 一个基于HTML5的在线流程图绘制和协作应用平台，用户可以通过它方便快速的实现流程图表的绘制，同时还可以实现与他人进行实时的流程图绘制和修改功能，对需要群组协作功能的团队来说，这点非常方便。 由于LucidChart是基于HTML5开发，因此用户不需要下载本地应用程序，通过浏览器就可以在个人PC、iPad等设备上进行使用。 Lucidchart支持数百种模板与范例，包括流程图、UML、ERD、线框/实体模型、网络图、业务流程模型、组织结构图、思维导图以及网站地图等等，还有一点就是它还支持从MicrosoftVisio直接导入文档。 在2011年7月份，LucidCha...

关注我，紧跟本系列专栏文章，咱们下篇再续！ 作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。 负责： 中央/分销预订系统性能优化 活动&优惠券等营销中台建设 交易平台及数据中台等架构和开发设计 目前主攻降低软件复杂性设计、构建高可用系统方向。 参考： 编程严选网 1背景 在视频推荐场景： 让新启用的视频尽可能快的触达用户，对新闻类内容尤为关键 快速识别新物品的好坏，通过分发的流量，以及对应的后验数据，来判断新物品是否值得继续分发流量 这两点对索引先验数据和后验数据的延迟都高要求。下文...

0前言 机票查询系统，日均亿级流量，要求高吞吐，低延迟架构设计。提升缓存的效率以及实时计算模块长尾延迟，成为制约机票查询系统性能关键。本文介绍机票查询系统在缓存和实时计算两个领域的架构提升。 1机票搜索服务概述 1.1机票搜索的业务特点 机票搜索业务：输入目的地，然后点击搜索，后台就开始卷了。基本12s将最优结果反给用户。这个业务存在以下业务特点。 1.1.1高流量、低延时、高成功率 超高流量，同时，对搜索结果要求也很高——成功率要高，不能查询失败或强说成功，希望能反给用户最优最新数据。 1.1.2多引擎聚合，SLA不一 机票搜索数据来源哪？很大一部分来源自己的机票运价引擎。为补充产品丰富性，...

1容器生命周期管理 1.1dockerstart 启动一或多个已被停止的容器。 启动已被停止的容器myrunoob dockerstartmyrunoob 1.2dockerstop 停止一个运行中的容器 dockerstopmyrunoob 1.3dockerrestart 重启容器 dockerrestartmyrunoob 1.4dockerrun 创建一个新的容器并运行一个命令。 要根据dockerimages命令的结果启动对应镜像的容器，执行： 运行dockerimages命令查看当前系统中所有可用的镜像列表。 从结果中找到您想要启动的镜像的REPOSITORY和TAG。 使...

1服务发现的意义 为高可用，生产环境中服务提供方都以集群对外提供服务，集群里这些IP随时可能变化，也需要用一本“通信录”及时获取对应服务节点，这获取过程即“服务发现”。 对服务调用方和服务提供方，其契约就是接口，相当于“通信录”中的姓名，服务节点就是提供该契约的一个具体实例。服务IP集合作为“通信录”中的地址，从而可通过接口获取服务IP的集合来完成服务的发现。即PRC框架的服务发现：RPC服务发现原理图 1.1服务注册 在服务提供方启动时，将对外暴露的接口注册到注册中心，注册中心将这个服务节点的IP和接口保存 1.2服务订阅 在服务调用方启动时，去注册中心查找并订阅服务提供方的IP，然后缓存...

0背景 重运营的应用。对于App里的顶导航、我的页面、弹窗等，需要根据模式、版本、平台、语言、渠道等不同的维度进行运营管理。随着业务快速发展，版本快速迭代，如何： 保持运营资源能够被高效、稳定和灵活地配置 高效稳定的为新的运营需求提供支持 通过打造一个稳定、灵活、高效的运营配置平台来解决前面遇到的问题。本文主要分享我们在建设高效的运营配置平台过程中积累的一些经验以及面临的挑战和思考。 1配置资源拆解 运营类配置分类： 运营资源 基础数据 运营资源范例：弹窗 基础数据：底部导航 1.1运营资源 运营资源可理解为App中经常变动的一些广告、运营活动等。比如上图中弹窗...

日常工作中，数据开发上线完一个任务后并不是就可以高枕无忧，时常因上游链路数据异常或者自身处理逻辑的BUG导致产出的数据结果不可信。而问题发现可经历较长周期（尤其离线场景），往往是业务方通过上层数据报表发现数据异常后push数据方去定位问题（对于一个较冷的报表，这个周期可能会更长）。 由于数据加工链路较长，需借助数据血缘关系逐个任务排查，也会导致问题定位难度增大，严重影响开发效率。如数据问题未及时发现，可能导致业务方作出错误决策。此类问题可统一归属为大数据领域数据质量问题。本文将向大家介绍伴鱼基础架构数据团队在应对该类问题时推出的平台化产品-数据质量中心的设计与实现。 1调研 业内数据质量平台化...

1账务清结算系统职责概述 账务清结算系统是支付系统的资金控制管理模块，分为： 1.1账务 账务系统为外部客户和内部管理者提供符合公司内部财务核算的各种会计凭证、账簿与财务报表，一般分为： 实时入账模块，负责在线完成客户账户余额更新 日终批处理模块，负责日终余额校验并完成会计报表统计 1.2清结算 支付业务的资金计算模块，最终目的是实现与商户的货款两清，功能包括： 清算（Clearing），是根据交易结果和协议规定，对交易的客户备付金、商户手续费、银行成本和其他款项进行计算，明确每个客户的应收应付金额 结算（Settlement），是根据结算周期规定，对清算产生的应收应付金额，完成资金的划...

0商家的痛点 订单退款后优惠券没被回收、退款过程中商家对营销资产没有直观感知、黑产党尝试薅商家资产羊毛等，给商家造成不好体验。为此构建营销逆向域，如资产冻结、解冻、回收等能力。 1业务形态 商家设置一种满10元送优惠券的活动，而后消费者下笔20元订单得到一张优惠券，然后申请订单全额退款，商家希望能回收优惠券。 而另一位消费也花20元，只申请5元部分退款，商家表示订单达到门槛，不打算回收券。这是最基础的一个业务场景，营销逆向域就是处理该券的逆向操作，技术则关心触发逆向的条件和对应的营销资产种类。 1.1营销资产种类 营销资产，指订单满足某些营销活动的门槛后由营销系统发放给消费者的虚拟资产或权益。...

在构建可扩展的软件时，它是最关键的团队。 现实没有技术债管理团队，也没人愿意加入这样队伍。这种团队每天就是给其他开发人员收拾烂摊子，谁愿意给别人擦屁股呢，毕竟又不是年薪百万？ 但确实有一些名字听起来更专业的团队，如基础设施团队、架构团队、核心团队，这听起来是不是就吊炸天了？这种团队负责处理所用应用程序的核心主体，如下图中的核心协调/依赖项小组： 回想鸿蒙混沌时期，你刚开始开发，完全用不到核心团队，牛逼到自己所在一个团队就搞定所有事。然而，团队也在壮大。我们现在需要更细致分配工作，让一些团队负责特性交付，一些团队负责公共代码： 为提升可维护性和可扩展性，负责公共代码的团队要探索开发跨各个...

关注我，紧跟本系列专栏文章，咱们下篇再续！ 作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。负责： 中央/分销预订系统性能优化 活动&优惠券等营销中台建设 交易平台及数据中台等架构和开发设计 目前主攻降低软件复杂性设计、构建高可用系统方向。 参考： 编程严选网 1前言 受限于对业务掌握度及对应数据特性的了解，大数据平台更倾向海量的同构或异构数据采集，清洗，加工，存储。而提供的数据服务更多是对采集到数据进行汇总及分析。 供应链域数据中台专注供应链域业务数据，优势是具备熟练...

关注我，紧跟本系列专栏文章，咱们下篇再续！ 作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。 负责： 中央/分销预订系统性能优化 活动&优惠券等营销中台建设 交易平台及数据中台等架构和开发设计 目前主攻降低软件复杂性设计、构建高可用系统方向。 参考： 编程严选网 0前言 公司发展面临商业环境变化，如流量模式、竞争格局和公共卫生事件。采购系统作为供给端核心系统之一，做好顶层设计并持续进行系统演进，才能适应剧烈的业务变化，服务好最终用户。本文从定义宏观、设计蓝图、落地系统、...

1背景 业务线与系统越来越多，系统或业务间数据同步需求也越频繁。当前互联网业务系统大多MySQL数据存储与处理方案： 随信息时代爆炸，大数据量场景下慢慢凸显短板，如：需对大量数据全文检索，对大量数据组合查询，分库分表后的数据聚合查询 自然想到如何使用其他更适合处理该类问题的数据组件（ES） 因此，公司亟需一套灵活易用的系统间数据同步与处理方案，让特定业务数据可很方便在其他业务或组件间流转，助推业务快速迭代。 2方案选型 当前业界针对系统数据同步较常见的方案有同步双写、异步双写、侦听binlog等方式，各有优劣。本文以MySQL同步到ES案例讲解。 2.1同步双写 最简单方案，在将数据写到...

0前言 Kafka不适合事件溯源，Kafka适合消息流。这两种事物需要不同存储机制。 事件溯源（EventSourcing），需DB充当事件日志，为事件溯源存储的事件必须以某种方式编写，以便将来的读取能够快速组装属于单个聚合的较小（更小的）事件流最初发射它们的。这需要随机访问索引 消息流（MessageStreaming），需要的存储本质上是个记录消息元素的“flatfile”。消息元素按序单独写，然后按序读。这需要一个从第一到最后一个的顺序索引 1细分 除了聚合子流，事件源域模型的所有事件通常都按照聚合最初发出的时间顺序作为全序事件流。为此还需要一个顺序索引。因此，事件溯源数据库须支持两...

1简介 直观高效的RedisGUI管理工具，它可以对Redis的内存、连接数、命中率以及正常运行时间进行监控，并且可以在界面上使用CLI和连接的Redis进行交互（RedisInsight内置对Redis模块支持），官方下载地址。 使用Redis或RedisStack进行开发时，将您的生产力提升到一个新的水平！使用RedisInsight可视化和优化Redis数据。RedisInsight是一款功能强大的桌面管理器，为Redis和RedisStack提供直观高效的UI，并支持功能齐全的桌面UI客户端中的CLI交互。 RedisInsight支持所有Redis部署。无论您使用Redis开源、R...