引言 在持续集成的过程中，JenkinsPipeline是非常关键的一环。它定义了如何自动编译、测试和部署代码。随着项目的不断发展，Pipeline的复杂性也在不断上升，这就需要我们持续优化Pipeline脚本，以提高代码的可读性和维护性。本文将介绍一次从繁琐Pipeline脚本到精简Pipeline脚本的转化过程，以及这种转化所带来的好处。 原始的Pipeline脚本: 注：loader其实已经废弃了 pipeline{ agent{label"build01"} stages{ stage("GetCode"){ agent{label"build01"} steps{ script{ ...

前言： Kubernetes作为容器编排工具的翘楚，多集群管理已是许多DevOps工程师的日常。随着对环境的扩展，如何管理多个集群的config文件成为了一个需要解决的问题。在本篇博客中，我们讨论一个常见的场景：合并两个Kubernetes集群的config文件，同时处理存在的同名集群和用户问题。并展示如何使用kubectl命令切换不同的集群上下文。 Kubernetes配置文件简介 在开始合并之前，我们先简要回顾一下Kubernetes配置文件（通常位于/.kube/config）。这个文件是YAML格式的，包含三个主要部分： clusters：定义集群的访问参数，包括名称、服务器地址和证...

前言： 获取单个configmap并忽略特定字段的操作可参照：kubectl获取ConfigMap导出YAML时如何忽略某些字段。要获取命名空间下所有ConfigMap并忽略特定字段，你可以使用kubectl命令与例如yq这样的工具结合使用来忽略或删除不需要的字段。以下是一个步骤和示例，展示了如何结合使用这些工具来实现你的目标。 方案一：使用yq处理YAML文件 依然以default命名空间为例： kubectlgetcm NAMEDATAAGE kube-root-ca.crt12y149d mail42y133d mysql-config1138d 首先安装yq。如你提到的，对于Ubu...

前言： 当我们在使用Kubernetes时，常常需要通过kubectl命令行工具来管理资源。有时我们也想将某个资源的配置导出为YAML文件，这样做有助于版本控制和资源的迁移。然而，默认情况下，使用kubectlget命令导出资源配置会包含一些元数据字段：如annotations,creationTimestamp,resourceVersion,uid等，这些字段对于备份或版本控制来说并不是必需的，反而可能会造成一些问题。本文将教您如何忽略这些字段，导出一个更干净的YAML配置！ kubectl获取ConfigMap导出YAML时如何忽略某些字段 一、理解kubectlget命令 在深入了解如...

引言 在华为云上，对CDN缓存内容进行刷新是一个常见的需求，以确保最新的内容能尽快被用户访问到。通过使用Go语言，我们可以开发一个自动化的工具来实现这一需求，并将其集成到Jenkins中以实现持续部署。下面我们将分步骤讲解如何实现。 1.实现CDN的刷新 要用Go实现华为云CDN的刷新工作，我们需要首先安装go-sdk，这是华为云为Go开发者提供的SDK，包含了操作华为云服务的API接口。 步骤1.1安装华为云官方GoSDK 我们可以使用goget命令来安装SDK： goget-ugithub.com/huaweicloud/huaweicloud-sdk-go-v3 步骤1.2创建CDN刷...

在多云策略与数据迁移趋势下，企业往往需要将数据在不同云服务提供商之间进行迁移。本文介绍如何使用rclone工具同步腾讯云COS（CloudObjectStorage）桶中的数据到华为云OBS（ObjectStorageService）。先决条件是您已经使用华为云在线迁移工具完成了初始数据迁移，现在我们需要保持后续的数据一致性。迁移过程如下：输入源端桶与目的桶的各个配置信息，点击下一步：这里直接默认，点击下一步：到这里数据就可以开始同步了！但是这里要注意账号密钥的权限：我创建了一个用户组obs-list，将obs的用户加入，并赋予了OBSBucketsViewerOBSReadOnlyAcces...

前言： 远程控制已成为IT人员和企业用户在处理日常任务时不可或缺的工具。无论是进行系统管理、支持远程工作，还是协助解决技术问题，一个可靠且高效的远程桌面工具都是业务连续性的关键。开始我个人使用了todesk（也曾鲜想过向日葵，但是向日葵只能ubuntu环境下使用，redhat系列没有兼容），但是todesk很耗费资源。在此，我们将详细探讨如何在Rockylinux(CentOS,redhat)系统上，通过使用功能强大的FreeRDP客户端，实现对Windows机器的远程管理。注：后之后觉，freerdp分辨率显示也比todesk好多了...... 一、FreeRDP的安装 适用于Rockyli...

解决CentOS6.6上Git操作引发的SSL连接错误问题 最近在处理一个CentOS6.6服务器上的问题时，遇到了一个比较棘手的问题。我的小伙伴在操作Git时，发现无法执行gitpull命令，提示找不到Git组件。在这篇文章中，我会详细介绍我们是如何定位和解决这个问题的。 问题描述 在一个已经很久没有更新的CentOS6.6服务器上，发现执行gitpull时，提示Git组件丢失。通过whichgit或whereisgit命令确认，Git确实不存在了。不清楚是什么导致Git被删除或损坏的。为了恢复Git功能，执行了安装Git的操作。但是，就在我们以为问题解决后，gitpull时遇到了新的问题：...

在数据管理的世界里，备份和还原数据是重中之重的日常工作，特别是对于Elasticsearch这样的强大而复杂的搜索引擎。备份不仅可以用于灾难恢复，还可以在数据迁移、测试或者升级等场景中发挥重要作用。 在本博客中，我们将会重点介绍如何使用一个非常实用的工具——elasticdump——来对Elasticsearch数据进行备份和还原。我们会覆盖单索引备份还原，全部索引备份还原以及特定前缀索引的备份还原。注：我的使用场景是从A集群同步数据到B集群迁移 Elasticdump简介 Elasticdump是一个开源工具，它可以用于对Elasticsearch索引的数据和映射(mapping)进行导入、...

terraform的安装： 官方下载： 浏览器打开terraform官方主页https://www.terraform.io/点击DownloadTerraform跳转到程序下载页面：找到自己对应的操作系统，按照操作系统选择安装terraform的方式： linux为例： 我有一台rockylinux工作主机也是直接参照官方文档安装的： terraform--version 不一样的windows: 官方的方式 注：我的系统是Windows10专业版！but要配置系统变量....我个人是很嫌弃麻烦。这里参考了ucloud在知乎上面的Chocolate的安装方式： Chocolate Ter...

背景 前面的步骤参照gitlab-11.1.4继续升级到15.9.3（我有三个gitlab服务器，还有两个升级到了15.11.0,在打开gitlabweb控制台的时候经常会收到让版本升级的弹窗，很是让人强迫症。就准备升级一下个gitlab. 前期准备： 确认升级路线 https://gitlab-com.gitlab.io/support/toolbox/upgrade-path/也是很刺激，我昨天打开还是16.3.4.......按照提示先升级到15.11.13-16.3.4（or16.4.0）:先继续记录一下自己到16.3.4的吧! 下载rpm包到本地： 操作系统为rokcy8根据我的操作...

背景： 线上tke集群1.20.6,就相当于kubernetes1.20版本吧！前几天点了一下升级，升级了master节点。按照我的个人理解集群升级会对集群api兼容性检查的，通过了升级了没有问题。昨天对集群的节点进行了缩容。然后pod进行了重新的调度。问题就来了：早期有一个搭建的eck集群：TKE1.20.6搭建elasticsearchonkubernetes。elastic-operator-0andkibana服务都不能正常运行了，logspod日志如下：elastic-operator日志内容基本是： unabletosetupandfillthewebhookcertificate...

问题： nginx做反向代理，后端webapache服务应用（古老的网站了，也不想动了），有一个web不加www访问的web站点，chrom浏览器正常访问，但是safari浏览器不能正常打开并出现一下错误：“cannotparseresponse"(NSURLErrorDomain:-1017) 解决： 浏览器关键词：safari-1017nginx添加如下配置： proxy_hide_headerUpgrade; 完美解决！

背景： 亚马逊eks集群代理用了traefikalb绑定traefik在node上面暴露的端口，对外提供服务。一直也没有在意是否能正常获取客户端IP（腾讯云阿里云的traefik后端应用都能正常获取客户端IP），后端php服务基础镜像基于https://github.com/richarvey/nginx-php-fpm构建，对日志进行了json格式化，安装了一些其他依赖。最近后端小伙伴有个需求要获取到客户端IP然后上传给第三方，这才发现xff字段是内网IP，大概就是这样的： {"@timestamp_local":"2023-06-27T10:37:10+00:00","host":"10....

chmod用户家目录需谨慎： 前因： ec2aws主机，sudo-i切换用户到root修改了一个ec2-user目录下的模板文件。纯手贱执行了一下： chmod777-R/home/ec2-user/ 后果： 然后问题来了,exit退出终端重新连接，无法连接了....提示让我输入密码？whatpemsshkey的方式怎么突然需要密码了？ ssh-ixxx.pemec2-user@xxx.xxx.xxx.xxx 大致像下面这样：图节选自：配置ssh免密登录后，依然需要输入密码登录&解决方案，当时没有截图过去一直是免密的： 复盘： .ssh目录权限千万不能瞎搞！ 如何解决？参照：重置...

服务器ssh密钥连接一直很正常的，今天重启了一下电脑，突然就连不上了： [zhangpeng@zhangpeng]$sshubuntu@xx.xxx.xxx.xxx kex_exchange_identification:read:Connectionresetbypeer Connectionresetbyxx.xxx.xxx.xxxport22 突然就方了怎么回事。网上搜索都是一些无效搜索：找到了阿里云的文档，顿时明悟：使用SSH客户端登录Linux实例提示“ssh_exchange_identification:read:Connectionresetbypeer”错误怎么办？想到了...

背景： 前面对远程http服务的拨测体验简单拨测了一下http服务，最近偶遇了一下服务到期默认进入回收站，服务连不上redis数据库的问题（腾讯云报警通知服务现在不能保证优先队列，现在会滞后性）。由于日志业务上报问题，业务的错误日志没有上报给我，程序自己收集的，这就造成了滞后性。现在了想把云内资源都监控起来，当然了我不想使用所谓的云监控！下面搞一下rediselasticmysqlmongo等服务的exporter黑盒监控！ redis监控 面临的问题: exporter如何监控多个实例? REDIS带账号密码，并且账号密码不同，也有无密码实例！ 解决方案： https://codean...

缘由： 有一套环境部署在aws新加坡区，资源使用s3对象存储，也用了cloudfront加速，但是but国内访问最近抽筋，也特意看了一下解析的地址IP....加速的地址在usa.....资源加速太慢了就想到了用nginx缓存加速一下！当然了还可以用国内腾讯云cosor阿里云oss同步到国内？但是生命周期，同步成本估计会很高，就简单用nginx先尝试一下了！ 顺便尝试问了一下chatgpt: 简单配置使用 就这样简单配置了一下：catxxx.xxx.com.conf proxy_cache_path/data/wwwroot/xxx.xxx.comlevels=1:2keys_zone=s3_...

需求： 我需要对腾讯云对象存储cos某一桶下目录前缀为xxx/的文件进行递归遍历，然后给文件添加cdn域名并对资源进行预热. claude与腾讯云cosapi的联动 首先先体验一下腾讯云自有的apiexplorer：https://cloud.tencent.com/document/product/1278/46697，使用GETBucket（ListObject），参照：https://cloud.tencent.com/document/product/436/7734中的参数： 使用APIExplorer 稍微体验了一下：https://console.cloud.tencent.co...

背景： 线上kubernetes集群，tke1.20.6版本，跑了两年多了。六月底升级了master节点到1.22.5版本升级须知里面风险点各种文档检查都正常.......work节点没有升级，只是升级了master节点，就这样跑了三周,期间缩容的时候出现了eckadmissionregistration.k8s.io/v1beta1api的问题。今天集群中一个节点上面的traefikpod重启了，然后随之的问题来了......http访问出现大量404！ 问题排查过程 关于traefik 2021年安装的，详见Kubernetes1.20.5安装traefik在腾讯云下的实践.基本就是如下的...