01监控方案 Cadvisor+node_exporter+prometheus+grafana Cadvisor：数据采集 node-exporter：汇总 prometheus：处理、存储 grafana：展示 02监控流程 容器监控：Prometheus使用cadvisor采集容器监控指标，而cadvisor集成在K8s的kubelet中所以无需部署，通过Prometheus进程存储，使用grafana进行展示。 node节点监控：node端的监控通过node_exporter采集当前主机的资源，通过Prometheus进程存储，最后使用grafana进行展示。 master节点监...

喜马拉雅计划全线裁员30%，官方回应！ 据报道，喜马拉雅近期计划进行全线裁员，比例约30%，“产品最多，运营其次，技术比较少，剩下的产品和技术合并，产研一体。”另有消息称，在近期喜马拉雅的内部会议上，喜马拉雅联席CEO陈小雨表示，喜马拉雅以后不怎么用运营和产品，要求未来APP“主要靠AI”。 对此，喜马拉雅方面向新闻平台表示，关于喜马拉雅裁员的消息不实，只是正常的人员汰换，目前喜马拉雅仍在正常招聘，引入各领域的优秀人才。“喜马拉雅的运营和产品部门都在正常开展相关工作，随着组织升级的进程，有个别岗位有正常调整变动。所谓‘多位员工表示’的信息，毫无根据，完全不属实。” 腾讯视频“崩”了上...

我们主要从三个方面来讨论这个问题： 啥时候加？ 如何加？ 什么时候该加什么时候不该加？ 01啥时候加 1.1显示锁 MySQL的加锁可以分为显示加锁和隐式加锁，显示加锁我们比较好识别的，因为他往往直接体现在SQL中，常见的显示加锁语句主要有： ▶︎select...forupdate； ▶︎select...insharemode； 两者的区别在于前者加的是排它锁，后者加的是共享锁。加了排他锁之后，后续对该范围数据的写和读操作都将被阻塞，另外一个共享锁不会阻塞读取，而是阻塞写入，但是这往往会带来一些问题，比如电商场景下更新库存时候，我们为了保障数据的一致性更新往往需要先将该商品数据锁...

互联网运维工作，以服务为中心，以稳定、安全、高效为三个基本点，确保公司的互联网业务能够7×24小时为用户提供高质量的服务。 运维人员对公司互联网业务所依赖的基础设施、基础服务、线上业务进行稳定性加强，进行日常巡检发现服务可能存在的隐患，对整体架构进行优化以屏蔽常见的运行故障，多数据中接入提高业务的容灾能力，通过监控、日志分析等技术手段，及时发现和响应服务故障，减少服务中断的时间，使公司的互联网业务符合预期的可用性要求，持续稳定地为用户提供务。 在安全方面，运维人员需要关注业务运行所涉及的各个层面，确保用户能够安全、完整地访问在线业务。从网络边界划分、ACL管理、流量分析、DDoS防御，到操作系...

一、背景介绍 RedisPipeline是一种高效的命令批量处理机制，可以在Redis中大幅度降低网络延迟，提高读写能力。RedisClusterPipeline是基于RedisCluster的pipeline，通过将多个操作打包成一组操作，一次性发送到RedisCluster中的多个节点，减少了通信延迟，提高了整个系统的读写吞吐量和性能，适用于需要高效处理RedisCluster命令的场景。 本次使用到pipeline的场景是批量从RedisCluster批量查询预约游戏信息，项目内使用的RedisClusterPipeline的流程如下，其中的JedisClusterPipeline是我们...

长期以来，医院信息化运维中存在着科室复杂、应用场景多、终端运维工作量大、软件系统兼容需求强等诸多痛点，且对技术设备的稳定性、连续性要求极高，在日常运维中，需要应对和解决这些问题来保障业务稳定、健康运行。 1、数据孤岛  在信息化建设中，医院基本完成核心业务系统的建设，且配置一定规模的网络、服务器、动环等系统。因此也会出现各厂商独立监控、数据割裂，形成运维孤岛。 2、问题发现被动、滞后  传统人工巡检的方式，存在问题发现被动、滞后，难以保障业务的稳定运行。且人工摸排时间长、效率低，运维工作效果不显著。 3、告警不准确  部分医院有动环、基础设施监控等管理系统，医院业...

11月27日晚间，滴滴因系统故障导致App服务异常登上热搜，不仅无法显示定位、无法打车，有司机的后台还显示收入超690亿。28日和29日，滴滴两次发文致歉，称初步确定事故起因是底层系统软件发生故障。 相较于一些网友戏谑的“滴滴减‘猿’增效14%员工导致系统崩溃”，网传的“K8S版本升级错误，控制节点挂了，SRE工程师花了三个小时都未能解决”可能是滴滴系统大规模长时间故障的主要原因。一位业内专业人士指出，互联网公司核心业务频繁宕机，且宕机时间较长，往往是成本降低和效率提升的副作用之一。如果系统投资不足、维护资源有限，程序员更替频繁，就容易导致程序漏洞增多。 根据滴滴最近六个季度公开的收入与费...

运维是一份做不到满分的工作，追求平稳厌恶风险，但往往求而不得。 原因很简单，运维的本质是“可控”，问题可控，风险可控，成本可控。如果觉得这些稀松平常，那一定是没被故障问题暴击过，目前国内的IT运维很多还处在紧急救援的队列中，不是他们不努力，实在是对手太强大。在IT架构中，IT运维监控是运维体系中重要的组成部分，作为运维的生命线，保障系统连续可用是首要原则，主要以监管控为实现手段。 第一点：稳定性“可控” 随着企业数字化转型，运维对象可以是硬件，如机房服务器、交换机、存储、带宽等实体设施，也可能是无法见到任何的物理设备，不再需要被束缚于物理硬件的稳定和可靠性，更多的工作会在云端进行，有个...

近期，国内的互联网大厂接连爆发P0级事件，阿里云崩完滴滴崩，企业在追求效益的前提是业务的连续和稳定。如果发生故障不能快速恢复，引发业务中断，给企业带来的损失是巨大的，换言之，企业需要一套清晰、智能化的运维管理系统来帮助管理人员提高对整个IT系统的把控能力。 运维的核心价值是保障业务系统的连续性。运维工程师可以通过IT运维软件实时监控全网设备的运行状况，网络链路的流量情况以及业务系统的运行情况。发现故障能够及时准确的定位，有效提高系统的稳定性和效率，同时将运维工程师从繁琐日常工作中解放出来，更多精力在优化网络性能和系统改进方面。 客户刘总是浙江某公司信息部门负责人，在多年前就已经上线国...

1、POD启动异常、部分节点无法启动pod 容器里管理应用 pod是K8s中最小调度单元，POD里面的容器共享pod的空间、资源、网络、存储等。 pod管理一个容器。 pod管理多个容器。 pod出现异常的原因： 资源过剩：大量POD在同一个物理节点，出现资源占用太多导致物理节点宕机。 内存和CPU超标：pod中的应用出现内存泄露，导致pod内存迅速增多，podkill了影响节点正常提供服务。（解决办法：压测占用多少内存和CPU，做资源限制；） 网络问题：导致POD无法通信（解决办法：检查calico网络插件情况） 存储问题：pod挂载的共享存储连接不上导致pod启动异常(解决办法...

原文链接：https://blog.gmem.cc/limit-disk-usage-for-pods Pod如何使用磁盘 容器在运行期间会产生临时文件、日志。如果没有任何配额机制，则某些容器可能很快将磁盘写满，影响宿主机内核和所有应用。 容器的临时存储，例如emptyDir，位于目录/var/lib/kubelet/pods下： /var/lib/kubelet/pods/ └──ac0810f5-a1ce-11ea-9caf-00e04c687e45POD_ID ├──containers │├──istio-init ││└──32390fd7 │├──istio-proxy ││└─...

   医院运维，听起来平平无奇毫不惊艳，但其中的含金量，可不是“维持系统正常运行”就能总结的。毕竟医院对业务连续性的超高要求，让运维面对的问题都是暂时的，下一秒可能就有新问题需要发现解决。 医疗信息化不断提高，各类设备、终端数量呈爆发式增长。IT运行环境日趋复杂，系统间关联逐渐加深，机房管理、系统监控...运维工作加量不加价。在保障信息系统高可用，稳定与安全之间，信息部门选择所有。 当我们试图解决医院棘手的运维问题，就要去做系统性建设。安徽某三甲医院携手LinkSLA智能运维平台，已经走过四个年头，早早完成从传统运维到智能运维的升级，不仅改善对业务系统的支...

一切的变化来自于数据中心规模、复杂度、设备多样性的挑战，将运维平台的重要性推向历史高点。 此外，基于业务连续性方面的考虑，分布式数据中心成为越来越多客户的选择。 一、数据中心面临的挑战 运维管理分散，缺乏统一的管理 IT建设“各自为政”，缺乏统一的管理规划，服务器、存储、网络等IT资源与虚拟化平台等信息分散，系统无法集中统一管理，无法实现全栈软硬件集中管理和自动维护，运维管理成本高。 告警管理效率低 管理对象和监控指标覆盖不全，告警信息无法统一管理，重要告警易遗漏，告警处理效率低下，系统风险与日俱增。 缺乏全局视图 各设备管理界面分散，缺乏全景视图，难以挖掘优化点，无法有效支撑数据中心运营...

引言 当提到命令行界面(CLI)时,我们通常会想到一种强大而高效的方式来与计算机进行交互。在众多的Shell中最常用的就数Bash和zsh了，除此之外还有一颗闪耀的明星FishShell，它以其现代化的设计和强大的特性而备受赞誉，成为许多开发人员和系统管理员钟爱的选择，正如官网宣传的Finally,acommandlineshellforthe90s, 翻译过来就是FishShell是一个为90后准备的Shell，它主要特性如下： 安装时就默认集成了很多需要的功能，无法进行大量配置 命令行语法高亮，错误会显示红色 智能提示 可视化配置:可以使用Web网页的进行终端配置 在这篇文章...

一、Redis为什么变慢了 1.Redis真的变慢了吗？ 对Redis进行基准性能测试 例如，我的机器配置比较低，当延迟为2ms时，我就认为Redis变慢了，但是如果你的硬件配置比较高，那么在你的运行环境下，可能延迟是0.5ms时就可以认为Redis变慢了。 所以，你只有了解了你的Redis在生产环境服务器上的基准性能，才能进一步评估，当其延迟达到什么程度时，才认为Redis确实变慢了。 为了避免业务服务器到Redis服务器之间的网络延迟，你需要直接在Redis服务器上测试实例的响应延迟情况。执行以下命令，就可以测试出这个实例60秒内的最大响应延迟： ./redis-cli--intrins...

Dockerfile的语法非常简单，然而如何加快镜像构建速度，如何减少Docker镜像的大小却不是那么直观，需要积累实践经验。这篇文章可以帮助你快速掌握编写Dockerfile的技巧。 目标 更快的构建速度 更小的Docker镜像大小 更少的Docker镜像层 充分利用镜像缓存 增加Dockerfile可读性 让Docker容器使用起来更简单 总结 编写.dockerignore文件 容器只运行单个应用 将多个RUN指令合并为一个 基础镜像的标签不要用latest 每个RUN指令后删除多余文件 选择合适的基础镜像(alpine版本最好) 设置WORKDIR和CMD 使用ENTRYPOIN...

什么是SRE？ 在刚刚接触SRE时，很多人认为就是Google的一个具备全栈能力的岗位，可以独立解决很多问题的人。 而在深入探究之后发现，SRE确实可以解决很多问题，但问题实在太多了，一个岗位或一个人是很难高效快速的解决的。 比如怎么做容量评估、怎么进行故障演练、怎么能做到服务限流、怎么做到异常熔断、怎么让监控告警更有效等。 所以为了解决这些问题，不难看出需要测试、开发、运维以及其他相关岗位人员都得进行合作建设，所以会发现其实可以认为SRE是一套指导建设的体系化方法。 SRE的目标是什么？ 提高稳定性 建设SRE体系的目标是“提高稳定性” 而在SRE中对“提高稳定性”这一目标有着两个衡量的指标...

在网络安全服务和专业技术需求不断增长的推动下，托管服务的增长幅度预计将超过整体IT支出。超过一半（56%）的渠道合作伙伴预计2023年网络安全托管服务的营收将实现增长。 1、托管服务提供商在帮助企业适应新兴技术和优化IT投资方面具有得天独厚的优势，其灵活、可定制的解决方案可满足业务需求并应对挑战。 2、尽管全球经济存在不确定性，但对托管服务的市场前景预测表明，全球市场将增长12.7%，总价值将达到4720亿美元。这一比例超出了整体IT支出增长，预计为3.5%。 关键驱动因素：网络安全、专业知识、对灵活消费模式的需求 驱动IT托管服务增长的关键因素是迫切的网络安全需求，因为全球范围内企业都在...

一、简介 1认识 Rsync（remotesynchronize）是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快；Rsync支持大多数的类Unix系统，无论是Linux、Solaris还是BSD上都经过了良好的测试；此外，它在windows平台下也有相应的版本，如cwRsync和Sync2NAS等工具。 2原理 Rsync本来是用于替代rcp的一个工具，目前由rsync.samba.org维护，所以rsync.conf文件...

1、项目背景 内容架构是QQ浏览器搜索的内容接入和计算层，主要负责腾讯域内的内容接入和处理，当前接入了多个合作方的上千类内容。 正如前面《如何避免旧代码成包袱？5步教你接手别人的系统》中提到，这是一套包含93个小服务的微服务架构。经过23年Q1的大力治理，让我们稳住阵脚，进一步对老系统做深入的评估： 研发效率较低：新增一类数据需要在34个服务上做开发，代码量不多，但很繁琐。 系统性能较差：数据流经多个小服务，且服务内部的实现普遍较差。譬如：核心服务的CPU最高只能用到40%、一条消息从进入到流出需要经过20多次的反复JSON解析、多处存在多余的字符串拷贝和查找… 从架构和代码层面，我们看到...