系统信息 操作系统 CentOSLinuxrelease7.9.2009(Core) k8s版本 v1.22.10 zadig版本 v1.15.0 故障背景 最近zadig发布时，时不时出现连接我们内网服务gitlab和harbor超时timeout问题，看了下k8setcd的监控信息，确实延时挺高（200500ms），正常延时应该在10ms左右。 机房服务器集群最近在进行资源更新和扩容，涉及到一些卷池扩容，数据同步等动作。所以，波及到集群中我的k8s集群，zadig发布服务正好部署在此集群之上。这样就导致两个问题： （1）流水发布发布时间变长，如构建到发布平时只用3分钟，此时需要用6分钟。...

故障背景 大数据集群中新增三台虚拟机（配置与老一批服务器配置一样），运行相同的服务，老一批虚拟机运行正常，新加的这三台运行异常，报错内容：watchdog:Bug:softlockup–CPU……”（CPU软锁）。 故障排查 一开始以为是虚拟机模板的问题，新老服务器不是使用同一个模板部署，询问IT后得知，虚拟机模板一样。谷歌下发现有类似的问题，详见解决Linux运行时报错“watchdog:Bug:softlockup–CPU……”（CPU软锁）。按照文档使用缓解方法进行测试，结果还是CPU软锁。 故障处理 经过排查发现是CPU和MEM资源受限导致的，所以导致CPU软锁的原因有很多，但这里你可...

k8s证书更新 如果底层容器运行时使用的是Docker，可参考kubesphere证书更新。如果容器运行时是Containerd,也可参考如上文章，区别是重启容器的命令。如是多节点master，也可以依次重启各个master节点。 配置k8s集群对接 主要更新三个内容：连接k8s的凭据、k8sconfig、pod模板基础镜像（其实更新的是config）。 新建k8s凭据 登录Jenkins，点击右上角「用户」→左下角「凭据」： 然后点击Jenkins，选择全局凭据（Unrestricted） 添加凭据，类型选择X.509ClientCertificate，下面证书文件需要使用Base6...

说明 关于Supervisor网上资料很多，大家可以去看下，这里重点是使用Supervisor进行监控和启动MongoDB集群服务。 安装Supervisor （1）添加yum源 cat/etc/yum.repos.d/epel.repo [epel] name=ExtraPackagesforEnterpriseLinux7$basearch Itismuchmoresecuretousethemetalink,butifyouwishtousealocalmirror placeitsaddresshere. baseurl=http://download.example/pub/epe...

错误现象 日志平台使用的是Loki+Promtail组合，这边有个服务日志量很大。当我使用Grafana请求这个pod的服务日志时，grafana显示timeout或504报错。 故障排查 （1）调整Grafana的超时设置 具体设置可参考Grafana从Loki查询大量日志时超时问题，我也尝试通过调整grafna-->数据源-->Loki中HTTP栏目中的timeout数值，但是报错依旧。 （2）更新loki配置 查看loki日志时，发现如下报错：rpcerror:code=ResourceExhausteddesc=tryingtosendmessagelargerthanma...

版本信息 kubesphere3.3.0 k8sv1.22.10 证书更新流程 （1）查看证书到期时间 任意一个master节点即可。 kubeadmcertscheck-expiration 打印出的信息如下： [check-expiration]Readingconfigurationfromthecluster... [check-expiration]FYI:Youcanlookatthisconfigfilewith'kubectl-nkube-systemgetcmkubeadm-config-oyaml' W101210:12:15.80066626665utils.go...

Arthas基础镜像 catDockerfile FROMopenjdk:11-jdk MAINTAINERtengfei<tengfei.wu@test.com> copyarthas RUNwget-P/opt/arthashttps://arthas.aliyun.com/arthas-boot.jar copyarthaslib ADD./arthas/mnt/arthas 说明：ADD./arthas/mnt/arthas这个arthas文件目录可以从传送门获取。 打包镜像： dockerbuild-tdocker.test.work/middle/arthas-v2:...

部署架构 说明： （1）Producer：生产者 （2）Consumer：消费者 （3）NameServer：RockerMQ的注册中心，多个实例组成集群，但相互独立，没有信息交换。每个Broker都向所有NameServer实例注册。 （4）Broker：负责存储消息、转发消息。 部署模式 RocketMQ作为消息中间件，其主要功能为消息的Publish/Subscribe。而Broker担任的消息转发和存储功能，其部署方式有很多种： 模式 优点 缺点 说明 单Master 配置简单 不可靠，该机器重启或宕机，将导致整个服务不可用 多Master 配置简单，性能最高 可...

前言 关于使用CloudFormation构建Neo4j集群相关文档，我已写过两篇，感兴趣的朋友请移步： 默认vpc和子网部署 创建指定vpc和子网部署 定制模板 在设计我们的模板前，我们先理清需求，根据具体业务需求，添加或更改默认模板中相关模块。需求如下： （1）使用已手动创建好的vpc网段； （2）使用该vpc网段下手动创建好的子网subnet； （3）neo4j集群各节点分布在同一可用区下，如"ap-southeast-1a"； （4）创建neo4j集群的安全组； 上面的需求点我们已经了解，下面我们来定制开发我们的模板吧。 具体实施流程 由于template文件涉及的配置较多，我...