tke 1.20.6升级到1.22.5的一点小插曲
  yWQPiE9Gg4GL 2023年11月02日 51 0

背景:

线上tke集群1.20.6,就相当于kubernetes1.20版本吧!前几天点了一下升级,升级了master节点。按照我的个人理解集群升级会对集群api兼容性检查的,通过了升级了没有问题。昨天对集群的节点进行了缩容。然后pod进行了重新的调度。问题就来了: 早期有一个搭建的eck集群:TKE1.20.6搭建elasticsearch on kubernetes。elastic-operator-0 and kibana 服务都不能正常运行了,logs pod 日志如下: elastic-operator日志内容基本是:

unable to setup and fill the webhook certificates","service.version":"1.6.0+8326ca8a","service.type":"eck","ecs.version":"1.4.0","error":"the server could not find the requested resource","error.stack_trace":"github.com/elastic/cloud-on-k8s/cmd/manager.startOperator\n\t/go/src/github.com/elastic/cloud-on-k8s/cmd/manager/main.go:558\ngithub.com/elastic/cloud-on-k8s/cmd/manager.doRun.func2\n\t/go/src/github.com/elastic/cloud-on-k8s/cmd/manager/main.go:328

就截取一下:**unable to setup and fill the webhook ** kibana日志如下: v7z4zEe2uO.png

解决过程:

搜索引擎关键词

我能想到的: kubernetes 1.20 upgrade 1.22 eck unable to setup and fill the webhook certificates image.png 我点的第二个:https://github.com/elastic/cloud-on-k8s/issues/3958 快速扫一眼看到了:can you give us more information about the kind of cluster your are using (self managed, Azure, EKS...) ? admissionregistration.k8s.io/v1beta1 is supposed to be removed in 1.22 only: kubernetes/kubernetes#82021 image.png 基本确定了是admissionregistration.k8s.io版本问题! 看一下:

kubectl get validatingwebhookconfiguration
NAME                                    WEBHOOKS   AGE
elastic-webhook.k8s.elastic.co          8        717d
gloo-gateway-validation-webhook-zadig   1          129d
 kubectl describe validatingwebhookconfiguration elastic-webhook.k8s.elastic.co 

admissionregistration.k8s.io/v1beta1

1.22版本api变动

还是参照kubernetes官方文档: https://kubernetes.io/docs/reference/using-api/deprecation-guide/#v1-22 image.png

解决问题:

可以参照:https://github.com/elastic/cloud-on-k8s/issues/3958charith-elastic 的方式试一下: image.png 我是直接选择了升级eck: 当前eck版本为1.6 ,elasticsearch版本7.6.2 ,kubernetes集群 1.22。发现相对应支持版本起码 1.8版本: image.png 直接升级eck operator服务:https://www.elastic.co/guide/en/cloud-on-k8s/1.8/k8s-upgrading-eck.html

kubectl replace -f https://download.elastic.co/downloads/eck/1.8.0/crds.yaml
kubectl apply -f https://download.elastic.co/downloads/eck/1.8.0/operator.yaml

由于elastic-operator-0 是一个有状态statefulset服务,未能正常启动,他会一直尝试。等待启动后才能进行下一次更新(如果我没有理解错的话),手动delete elastic-operator-0 pod:

kubectl delete pods elastic-operator-0 -n elastic-system

image.png 删除kibana pod 等待pod running:

kubectl delete pods elastic-kb-677b867cf7-5vb2v -n logging

web 访问 kibana服务正常访问! image.png

总结:

  1. kubernetes 版本升级的api校验,tke这点是不好,没有提醒用户阿,kubeadm升级还会进行校验一遍资源呢!
  2. 升级版本前还是要检查一下kubeadm官方升级文档:https://kubernetes.io/docs/reference/using-api/deprecation-guide/#removed-apis-by-release
  3. 应用组建版本的api还是要好好检查一下!
【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
yWQPiE9Gg4GL