作者：vivo互联网容器团队PanLiangbiao 本文根据潘良彪老师在“2022vivo开发者大会"现场演讲内容整理而成。公众号回复【2022VDC】获取互联网技术分会场议题相关资料。 2018年起，vivo以容器作为基础底座，打造了一站式云原生机器学习平台。向上支撑了算法中台，为算法工程师提供数据管理、模型训练、模型管理、模型部署等能力，为广告、推荐和搜索等业务赋能，成功为算法实现了降本、提效，让云原生和容器价值初露锋芒。基于机器学习平台的试点成果，经过算法场景的试点实践和价值分析，对内部战略做了升级。确定基于云原生理念去构建行业一流的容器生态，实现规模化的降本提效目标。 本文会...

作者：vivo互联网服务器团队ChenNingning 本文根据“2022vivo开发者大会"现场演讲内容整理而成。 经过几年的平台建设，vivo监控平台产品矩阵日趋完善，在vivo终端庞大的用户群体下，承载业务运行的服务数量众多，监控服务体系是业务可用性保障的重要一环，监控产品全场景覆盖生产环境各个环节。从事前发现，事中告警、定位、恢复，事后复盘总结，监控服务平台都提供了丰富的工具包。从以前的水平拆分，按场景建设，到后来的垂直划分，整合统一，降低平台割裂感。同时从可观测性、AIOps、云原生等方向，监控平台也进行了建设实践。未来vivo监控平台将会向着全场景、一站式、全链路、智能化方...

作者：vivo互联网服务器团队LiuXin、YuDan 本文基于故障定位项目的实践，围绕根因定位算法的原理进行展开介绍。鉴于算法有一定的复杂度，本文通过图文的方式进行说明，希望即使是不懂技术的同学也能理解。 一、背景介绍 1.1程序员的困扰 作为一名IT从业人员，比如开发和运维，多少有过类似的经历：睡觉的时候被电话叫醒，过节的时候在值班，游玩的时候被通知处理故障。作为一名程序员，我们时时刻刻都在想着运用信息技术，为别人解决问题，提升效率，节省成本。随着微服务架构的快速发展，带来一系列复杂的调用链路和海量的数据。对于我们来说，排查问题是一个大挑战，寻找故障原因犹如大海捞针，需要花费大量的时间...

作者：vivo互联网存储技术团队-LuoMingbo、中间件团队LiuRunyun 本文根据“2022vivo开发者大会"现场演讲内容整理而成。 本文主要介绍超大数据规模场景下分布式消息中间件在vivo的应用实践。 在线业务侧主要从RocketMQ集群部署架构、平台系统架构、日常运维操作平台、监控告警一体化实践以及vivo如何通过建设AMQP消息网关的方式完成所有在线业务服务从RabbitMQ到RocketMQ的业务无感迁移，实现了在线业务消息中间件组件的统一。 大数据侧主要从资源隔离、流量均衡、智能动态限流、集群治理四个维度介绍Kafka在vivo的最佳实践以及Kafka核心技术架构...

作者：vivo互联网服务器团队WuQinghua 本文从目前业界实现Jenkins的高可用的实现方案，分析各方案的优缺点，引入vivo目前使用的Jenkins高可用方案，以及目前Jenkins资源的调度方案的设计实践和目前的落地运行效果。 一、前言 现在的企业很多都在用Jenkins做持续集成，各个业务端都依靠Jenkins，vivoDevops也是使用Jenkins来进行持续构建，部署Jenkins服务时如何保障服务的高可用变得尤为重要。 下面是目前Jenkins存在的一些问题。 Jenkins本身是单体的，即只能有一个JenkinsMaster。虽然你也可以在多台机器上部署多个Jen...

作者：vivo互联网服务器团队Xiongyangxin 将某个通用解决方案包装成成熟的工具包，是每一个技术建设工作者必须思考且必须解决的问题。本文从业内流行的既有工具包入手，解析实现思路，沉淀一般方法。为技术建设的初学者提供一些实践思路的参考。尤其是文中提倡的“去中心化”的协作模式，和“关键链路+开发接口”的开发模式，具有一定的实际落地意义。当然本文在行文中，不可避免存在一定主观偏见性，读者可酌情阅读。 一、前言 熟悉JAVA服务器开发的同学应该都使用过日志模块，并且大概率使用过"log4j-over-slf4j"和“slf4j-log4j”这两个包。那么这两个包的区别是什么？为什么会互相...

vivo互联网服务器团队LiWanghong 本文通过分析Dubbo中ZooKeeper注册中心的实现ZooKeeperResitry的继承体系结构，自顶向下分析了AbstractRegistry（提供了服务数据的本地缓存）、FailbackRegistry（服务注册订阅相关的异常重试）、CacheableFailbackRegistry（Dubbo在URL推送模型做的优化）、ZooKeeperRegistry（ZooKeeper注册中心实现原理）的源码，详细介绍了Dubbo中ZooKeeper注册中心的实现原理。 当服务提供者启动时，服务提供者将自己提供的服务信息注册到注册中心，注册中心...

作者：vivo互联网平台产品研发团队 本文是《OKR之剑》系列之实战第5篇—— 我们的OKR执行如此顺利，离不开我们的“双轮驱动”。类似于亚马逊的“飞轮效应”，我们以氛围和业绩双轮来保障团队稳步发展。其中，氛围轮保证产出质量、数量，调动大家的积极性，驱动人，输出价值；业绩轮则保证业务持续、长久，做大蛋糕，拓展边界、防止内卷，驱动事，良性发展。本文，我们以氛围业绩双轮驱动为起点，带领大家了解一下我们是如何“以OKR之名行管理之实的”。 一、前言 每当说起亚马逊的发展，“飞轮效应（FlywheelEffect）”都是一个必定被谈及的话题。这个来自于管理专家吉姆·柯林斯（JimColins）《从...

vivo互联网平台产品研发团队PengZhong 随着分发规模地逐步增长，各企业对CDN带宽的使用越来越多。并且，各类业务使用CDN的场景各式各样，导致带宽会不断地出现骤增骤降等问题。基于成本考虑，国内CDN厂商的计费模式主要用峰值点的带宽来计费，就算不用峰值点的带宽，也会因为峰值问题所产生的成本而抬高带宽单价。基于此，控制CDN带宽的峰谷具有重要意义，降低峰值就意味着成本节省。 一、背景 伴随着互联网地兴起，很多企业都经历过互联网野蛮生长的一段岁月。然而，在互联网市场逐步成熟稳定之后，各大企业在业务上的增长速度逐渐放缓，也纷纷开始“对内挖掘成本方面”的产出，对成本做更加精细化的管控，提升...

作者：vivo互联网前端团队YangKun 本文是上篇文章《Node.js 应用全链路追踪技术——全链路信息获取》的后续。阅读完，再来看本文，效果会更佳哦。 本文主要介绍在Node.js应用中， 如何用全链路信息存储技术把全链路追踪数据存储起来，并进行相应的展示，最终实现基于业界通用 OpenTracing 标准的 Zipkin 的 Node.js 方案。 一、背景 目前业界主流的做法是使用分布式链路跟踪系统，其理论基础是来自Google的一篇论文《大规模分布式系统的跟踪系统》。   论文如下图所示：...

作者：vivo互联网服务器团队 本文是《vivo营销自动化技术解密》的第5篇文章，重点分析介绍在营销自动化业务中实时营销场景的背景价值、实时营销引擎架构以及项目开发过程中如何利用动态队列做好业务流量隔离，动态发布，使用规则引擎来提升营销规则的配置效率等几种关键技术设计实践。 《vivo营销自动化技术解密》系列文章： vivo营销自动化技术解密｜开篇 设计模式如何提升vivo营销自动化业务扩展性|引擎篇01 状态机引擎在vivo营销自动化中的深度实践|引擎篇02 工作流引擎在vivo营销自动化中的应用实践|引擎篇03 一、背景  营销自动化的触达场景按照时效性划分主要有两大类：...

作者：vivo互联网安全团队DuanYunxin 商业化广告流量变现，媒体侧和广告主侧的作弊现象严重，损害各方的利益，基于策略和算法模型的业务风控，有效保证各方的利益；算法模型可有效识别策略无法实现的复杂作弊模型，本文首先对广告反作弊进行简介，其次介绍风控系统中常用算法模型，以及实战过程中具体风控算法模型的应用案例。 一、广告反作弊简介 1.1 广告流量反作弊定义 广告流量作弊，即媒体通过多种作弊手段，获取广告主的利益。 作弊流量主要来自于： 模拟器或者被篡改了设备的广告流量； 真设备，但通过群控控制的流量； 真人真机，但诱导产生无效流量等。 1.2 常见的作弊行为...

作者：vivo互联网运维团队HouDengfeng 本文主要介绍使用shell实现一个简易的Docker。 一、目的 在初接触Docker的时候，我们必须要了解的几个概念就是Cgroup、Namespace、RootFs，如果本身对虚拟化的发展没有深入的了解，那么很难对这几个概念有深入的理解，本文的目的就是通过在操作系统中以交互式的方式去理解，Cgroup/Namespace/Rootfs到底实现了什么，能做到哪些事情，然后通过shell这种直观的命令行方式把我们的理解组合起来，去模仿Docker实现一个缩减的版本。 二、技术拆解 2.1Namespace 2.1.1简介 LinuxNam...

vivo互联网产品团队Wangxiao 随着广告和内容等推荐场景的扩展，算法模型也在不断演进迭代中。业务的不断增长，模型的训练、产出迫切需要进行平台化管理。vivo互联网机器学习平台主要业务场景包括游戏分发、商店、商城、内容分发等。本文将从业务场景、平台功能实现两个方面介绍vivo内部的机器学习平台在建设与实践中的思考和优化思路。 一、写在前面 随着互联网领域的快速发展，数据体量的成倍增长以及算力的持续提升，行业内都在大力研发AI技术，实现业务赋能。算法业务往往专注于模型和调参，而工程领域是相对薄弱的一个环节。建设一个强大的分布式平台，整合各个资源池，提供统一的机器学习框架，将能大大加快训...

作者：vivo互联网AI团队LiuZuocheng、ZhouBaojian 本文根据周保建老师在“2022vivo开发者大会"现场演讲内容整理而成。公众号回复【2022VDC】获取互联网技术分会场议题相关资料。 使用基于有限有向图的调度框架，可以控制在线服务中异步调度的流程，但这对分支路径的管理不够友好，随着节点增多，调度流程会越来越复杂而难以控制。因此我们实现了支持分支路径的图调度框架，解决普通图调度框架可扩展性差的问题。 一、图调度框架简介 1.1vivo效果广告预估服务  vivo效果广告实时在线服务是提供实时AI算法推荐的服务。在广告投放场景，承载了一天百亿级别数量...

作者：vivo互联网数据库团队DuTing 在Redis运维过程中，由于Bigkey的存在，会影响业务程序的响应速度，严重的还会造成可用性损失，DBA也一直和业务开发方强调Bigkey的规避方法以及危害。 一、背景 在Redis运维过程中，由于Bigkey的存在，会影响业务程序的响应速度，严重的还会造成可用性损失，DBA也一直和业务开发方强调Bigkey的规避方法以及危害，但是Bigkey一直没有完全避免。全网Redis集群有2200个以上，实例数量达到4.5万以上，在当前阶段进行一次全网Bigkey检查，估计需要以年为时间单位，非常耗时。我们需要新的思路去解决Bigkey问题。 二、Bi...

​ 作者：vivo互联网大数据团队WangLei 一、前言 一直以来，许多产品平台都在尝试通过可视化搭建的手段来降低GUI应用的研发门槛，提高生产效率。随着我们业务的发展，数据建设的完善，用户对于数据可视化的诉求也日益增多，而数据大屏是数据可视化的其中一种展示方式，它作为大数据展示媒介的一种，被广泛运用于各种会展、公司展厅、发布会等。 相比于传统手工定制的图表与数据仪表盘，通用大屏搭建平台的出现，可以解决定制开发,数据分散带来的应用开发、数据维护成本高等问题，通过数据采集、清洗、分析到直观实时的数据可视化展现，能够多方位、多角度、全景展现各项指标，实时监控，动态一目了然。 本文将通过敏捷B...

作者：vivo互联网存储技术团队QiuSidi 在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。 一、概述 在企业大数据体系的建设过程中，数据的处理一般包含4个步骤：采集、存储、计算和使用。其中，数据采集，是建设过程中的首要的环节，也是至关重要的环节，如果没有采集就没有数据，更谈不上后续的数据处理与使用。所以，我们看到的企业中的运营报表、决...

作者：vivo互联网实时计算团队ChenTao 本文根据“2022vivo开发者大会"现场演讲内容整理而成。 vivo实时计算平台是vivo实时团队基于ApacheFlink计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。 一、vivo实时计算业务现状 2022年，vivo互联网在网用户总数达到2.8亿，多款互联网应用的日活超过了千万甚至突破了1亿，为了向用户提供优质的内容和服务，我们需要对如此大规模的用户所产生的海量数据进行实时处理，帮助我们进行运营决策、精准推荐、提升终端用户体验，同时通过提升我们的商业化能力为广告主提供更加优质的广告服务。...

作者：vivo互联网大数据团队ZhaoWei、TianFengbiao、LiXiong 本文从提升用户行为分析效率角度出发，详细介绍了H5埋点方案规划，埋点数据采集流程，提供可借鉴的用户行为数据采集方案；且完整呈现了针对页面分析，留存分析的数仓模型规划方案，在数仓模型设计过程中遇见的痛点难点问题也相应的给出了解决思路及案例代码；在数据展示模块，提供了分析指标数据展示的逻辑流程及UI案例，旨在帮助有需要的同学全方位的了解用户行为数据全链路分析流程。 一、背景 针对用户行为数据进行采集有个专业术语叫埋点，在h5页面上做的埋点统称为H5埋点。H5页面因其灵活性，便捷的交互和丰富的功能，以及在移动...