本文分享自华为云社区《Python文本统计与分析从基础到进阶》，作者：柠檬味拥抱。 在当今数字化时代，文本数据无处不在，它们包含了丰富的信息，从社交媒体上的帖子到新闻文章再到学术论文。对于处理这些文本数据，进行统计分析是一种常见的需求，而Python作为一种功能强大且易于学习的编程语言，为我们提供了丰富的工具和库来实现文本数据的统计分析。本文将介绍如何使用Python来实现文本英文统计，包括单词频率统计、词汇量统计以及文本情感分析等。 单词频率统计 单词频率统计是文本分析中最基本的一项任务之一。Python中有许多方法可以实现单词频率统计，以下是其中一种基本的方法： defcount_wor...

本文分享自华为云社区《华为云短信服务教你用Perl实现Smgp协议》，作者：张俭。 引言&协议概述 中国电信短消息网关协议（SMGP）是中国网通为实现短信业务而制定的一种通信协议，全称叫做ShortMessageGatewayProtocol，用于在短消息网关（SMGW）和服务提供商（SP）之间、短消息网关（SMGW）和短消息网关（SMGW）之间通信。 Perl是一个老牌脚本语言，在众多Linux系统上都会默认安装，比如在ubuntu的22.04版本的基础镜像中，甚至没有Python，但是依然安装了Perl，Perl的普及度可见一斑。Perl的IO::Async模块提供了一套简洁的异步...

本文分享自华为云社区《Sermant在异地多活场景下的实践》，作者：华为云开源。 Sermant社区在1.3.0和1.4.0版本相继推出了消息队列禁止消费插件和数据库禁写插件，分别用于解决异地多活场景下的故障切流和保护数据一致性问题。本文将对Sermant在异地多活场景下的实践进行剖析。 一、异地多活 1.1什么是异地多活 对于一个软件系统，我们希望当系统出现故障时仍然可以正常对外提供服务，软件系统的这种特性称之为高可用，异地多活架构便是用来解决高可用问题的。 最早的系统架构一般为单机架构，当数据库出现故障时，可能会导致业务长时间中断。为了解决这一问题，数据库发展为由主库和从库组成，主库负责读...

本文分享自华为云社区《大模型LLM之分布式训练》，作者：码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（DistributedTraining）系统来解决海量的计算和内存资源要求问题。 在分布式训练系统环境下需要将一个模型训练任务拆分成多个子任务，并将子任务分发给多个计算设备，从而解决资源瓶颈。但是如何才能利用包括数万计算加速芯片的集群，训练模型参数量千亿甚至是万亿的大规模语言模型？这其中涉及到集群架构、并行策略、模型架构、内存优化、计算优化等一系列的技术。 我将详细介绍分布式机器学习系统的基础概念...

摘要：作为Valkey社区的TechnicalSteeringCommitteemember，华为云将持续参与社区建设。 一、背景 今年3月21日，RedisLabs宣布从Redis7.4版本开始，将原先比较宽松的BSD源码使用协议修改为RSAv2和SSPLv1协议，意味着Redis在OSI（开放源代码促进会）定义下不再是严格的开源产品。Redis官方表示，开发者社区不会发生任何变化，他们将继续享受双重许可下的宽松许可。同时，Redis负责的所有Redis客户端库将保持开源许可。 二、Valkey社区成立 在4月16日召开的Linux基金会北美开源峰会上，Linux基金会宣布华为等多家...

本文分享自华为云社区《GaussDB(DWS)3A安全能力》，作者：yd_281561943。 1.前言 适用版本：【8.0.0(及以上)】 数据库安全是指保护数据库以防止未授权用户窃取、篡改和破坏数据库中数据信息的技术。数据库安全技术可以简单分为3个A： Authentication（认证）：认证解决让谁进来的问题（进门） Authorization（授权）：授权解决能干啥的问题（干活） Audit（审计）：审计解决干了啥的问题（监控） 2.Authentication——认证 连接认证解决用户能否登录数据库的问题。本产品支持如下几种认证方式： 基于主机的认证：服务器端根据客户端的...

本文分享自华为云社区《从原始边列表到邻接矩阵Python实现图数据处理的完整指南》，作者：柠檬味拥抱。 在图论和网络分析中，图是一种非常重要的数据结构，它由节点（或顶点）和连接这些节点的边组成。在Python中，我们可以使用邻接矩阵来表示图，其中矩阵的行和列代表节点，矩阵中的值表示节点之间是否存在边。 原始边列表 假设我们有一个原始边列表，其中每个元素都表示一条边，例如： edges=[(0,1),(0,2),(1,2),(2,3)] 在这个例子中，每个元组 (a,b) 表示节点 a 和节点 b 之间存在一条边。 转换为邻接矩阵 ...

本文分享自华为云社区《MindSpore强化学习：使用PPO配合环境HalfCheetah-v2进行训练》，作者：irrational。 半猎豹（HalfCheetah）是一个基于MuJoCo的强化学习环境，由P.Wawrzyński在“ACat-LikeRobotReal-TimeLearningtoRun”中提出。这个环境中的半猎豹是一个由9个链接和8个关节组成的2D机器人（包括两个爪子）。在这个环境中，目标是通过施加扭矩在关节上使猎豹尽可能快地向前（向右）奔跑，正向奖励基于前进的距离，而向后移动则会得到负向奖励。猎豹的躯干和头部是固定的，扭矩只能施加在前后大腿、小腿和脚上。 动作空间是一...

本文分享自华为云社区《Python中的循环技巧指南》，作者：柠檬味拥抱。 当我们处理数据时，有时候需要创建多个列表以存储不同类型或不同条件下的数据。在Python中，我们可以利用循环来快速、高效地创建这些列表。本文将介绍如何使用循环在Python中创建多个列表，并提供代码实例。 python用循环新建多个列表 在Python中，我们可以使用列表推导式或循环结合条件语句来创建多个列表。下面是一些常见的场景和对应的代码示例： 1.创建固定数量的空列表 假设我们需要创建多个空列表，可以使用列表推导式和循环： 使用列表推导式创建多个空列表 num_lists=5 empty_lists=[[]for...

本文分享自华为云社区《华为云FunctionGraph构建高可用系统的实践》，作者：华为云PaaS服务小智。 导语 每年，网上都会报道XXX系统异常不可用，给客户带来巨大的经济损失。云服务的客户基数更大，一旦出现问题，都将给客户和服务自身带来极大影响。本文将基于华为云FunctionGraph自身的实践，详细介绍如何构建高可用的Serverless计算平台，实现客户和平台双赢。 高可用介绍 高可用性[1]（英语：highavailability，缩写为HA），IT术语，指系统无中断地执行其功能的能力，代表系统的可用性程度。是进行系统设计时的准则之一。 业界一般使用SLA指标来衡量系统的可用性。...

本文分享自华为云社区《华为云Stack8.3面向香港正式发布，六大亮点激发云上跃迁》，作者：华为云头条。 2024年4月23日，在华为云香港峰会2024上，华为混合云副总裁胡玉海面向香港市场发布华为云Stack8.3，提供110+本地云服务和六大亮点，帮助中国香港政企持续提升用云深度，激发业务创新。 同时，华为云还面向香港各行各业客户伙伴发起“Leap2Cloud”行动倡议，希望携手全港政企客户和伙伴从虚拟化向云上跃迁，推进深度用云在全行业的广泛落地，拥抱智能蓝海，开启数智化新纪元。 ▲华为混合云副总裁胡玉海 华为混合云副总裁胡玉海表示：“2023年4月，华为云面向香港市场发布华为云St...

本文分享自华为云社区《6个实例带你解读TinyVue组件库跨框架技术》，作者：华为云社区精选。 在DTSETechTalk《 手把手教你实现mini版TinyVue组件库 》的主题直播中，华为云前端开发DTSE技术布道师阿健老师给开发者们展开了组件库跨框架的讨论，同时针对TinyVue组件库的关键技术进行了剖析，并通过项目实战演示了一份源码编译出2个不同Vue框架的组件。最后针对框架间的差异，也给出了相应的技术方案，帮助开发者们实战完成组件库跨框架。 直播链接：https://bbs.huaweicloud.com/live/DTT_live/202404171630.ht...

本文分享自华为云社区《Python异常处理与日志记录构建稳健可靠的应用》，作者：柠檬味拥抱。 异常处理和日志记录是编写可靠且易于维护的软件应用程序中至关重要的组成部分。Python提供了强大的异常处理机制和灵活的日志记录功能，使开发人员能够更轻松地管理代码中的错误和跟踪应用程序的执行过程。在本文中，我们将探讨使用Python进行异常处理与日志记录的最佳实践，以及一些案例代码来说明这些概念。 异常处理的重要性 异常处理是指在程序执行过程中处理可能发生的错误或异常情况的过程。良好的异常处理可以帮助我们： 提高程序的稳定性：通过捕获和处理异常，我们可以避免程序意外崩溃，提高应用程序的稳定性。 改善...

本文分享自华为云社区《应用平台AppStage运维中心实践vol.4一次故障演练,十分钟自动搞定?》，作者：yangyang得意。 某业务部涉及200+服务，部署架构复杂，各服务间依赖关系盘根错节， 每次故障演练都需要耗费大量时间，还容易出现遗漏问题风险…… 有没有高效可靠的方法，可以在短时间内支撑高频大规模的故障演练呢？ 让我们走进该业务部，看B服务如何通过应用平台运维中心实现： 1次故障演练，10分钟自动搞定！   点击关注，第一时间了解华为云新鲜技术  

4月20日，HCDG城市行·天津站——“极快至简灵活部署”我想象中的AI高效开发ModelArts技术工作坊圆满举办。活动特邀来自华为云DTSE、华为云云享专家、以及天津软件技术协会的伙伴企业专家们为与会开发者带来一场别开生面的技术交流及动手实践活动。 活动伊始，天津市软件行业协会技术专委会主任赵文毅欢迎各位专家和嘉宾莅临本次技术分享活动。他表示，随着各企业的数字化转型和人工智能的迅猛发展，AIGC正逐渐成为企业数字化转型的重要工具，ModelArts作为华为云面向开发者的一站式AI开发平台，对于天津各传统企业，工业制造业的数智化转型提供技术支撑，这次动手工作坊也是让大家以开发者的第一视角来深...

本文分享自华为云社区《“企业创新新引擎”数据库专项赋能会，让云原生技术普惠千行百业！》，作者：GaussDB数据库。 4月19日，由福州软件园科技创新发展公司和华为技术有限公司联合主办的HCDG城市行福州站——“企业创新新引擎”数据库专项赋能会在福州软件园成功举办。会议结合当下企业业务面临降本增效、智能运维等实际诉求，聚焦探讨数据库技术从上云（OnCloud）到与云原生真正结合（InCloud）的能力与发展，加快企业数字化转型进程。 华为云开发者技术专家褚蕴威 活动伊始，华为云开发者技术专家褚蕴威带来了《云原生与云数据库从应用架构演进探讨数据库的未来发展》的内容分享。他表示，数字化发展进入下...

本文分享自华为云社区《对接HiveMetaStore，拥抱开源大数据》，作者：睡觉是大事。 1.前言 适用版本：9.1.0及以上 在大数据融合分析时代，面对海量的数据以及各种复杂的查询，性能是我们使用一款数据处理引擎最重要的考量。而GaussDB(DWS)服务有着强大的计算引擎，其计算性能优于MRS服务中的hive或者spark这类计算引擎，且可以以更低的成本满足业务高弹性和敏捷性需求。通过与MRS联动，无需搬迁数据，利用DWS的高性能计算引擎处理和分析数据湖中的海量数据以及各种复杂的查询业务、分析业务越来越成为主流的解决方案。 我们可以通过创建externalschema的方式来对接Hi...

本文分享自华为云社区《【GaussTech第2期】GaussDBSQL查询语句执行过程解析》，作者：GaussDB数据库。 SQL于关系型数据库而言，重要性不言而喻。就像一个乐团的指挥，指导着作品的正确演绎和节奏的和谐统一。华为云GaussDB作为新一代关系型分布式数据库，具备卓越的技术性能和行业竞争力。很多人对GaussDB的关键技术很好奇，纷纷在论坛帖上留言： GaussDBSQL语句到底是如何执行的？ GaussDBSQL引擎原理是什么？   GaussDBSQL引擎有哪些关键技术点？ ……. 今天我们就...

本文分享自华为云社区《使用Prometheus-Operator进行Prometheus+Keda分片自动缩放》，作者：Kubeservice@董江。 垂直缩放与水平缩放 Prometheus已经成为云原生时代事实上的监控工具。从监控小型花园的实例到企业中大规模的监控，Prometheus都可以处理工作负载！但并非没有挑战… 在拥有数百个团队的大型组织中，每秒获取数百万个指标是很常见的。人们可以维护一个Prometheus实例，并通过投入资金来解决扩展问题：只需获得一个更大的节点即可。好吧，如果你愿意付钱，那就去吧！但是节点价格的增长速度通常高于其大小，并且管理大型和小型Prometheus实...

本文分享自华为云社区《元编程，使代码更具描述性、表达性和灵活性》，作者：叶一一。 背景 去年下半年，我在微信书架里加入了许多技术书籍，各种类别的都有，断断续续的读了一部分。 没有计划的阅读，收效甚微。 新年伊始，我准备尝试一下其他方式，比如阅读周。每月抽出12个非连续周，完整阅读一本书籍。 这个“玩法”虽然常见且板正，但是有效，已经坚持阅读三个月。 4月份的阅读计划有两本，《你不知道的JavaScrip》系列迎来收尾。 已读完书籍：《架构简洁之道》、《深入浅出的Node.js》、《你不知道的JavaScript（上卷）》、《你不知道的JavaScript（中卷）》。 当前阅读周书籍：《你不知...