标签（空格分隔）：kubernetes系列 一：k8s的网络方案 1.1overylay的网络方案 Overlay网络： Overlay叫叠加网络也叫覆盖网络，指的是在物理网络的基础之上叠加实现新的虚拟网络， 即可使网络的中的容器可以相互通信。 优点是对物理网络的兼容性比较好，可以实现pod的夸宿 主机子网通信。 calico与flannel等网络插件都支持overlay网络缺点是有额外的封装与解封性能开销 目前私有云使用比较多。 flannel的网络模型 calico的网络模式 1.2underlay网络模式 Underlay网络就是传统IT基础设施网络，由交换机和路由器...

标签（空格分隔）：kubernetes系列 一：系统环境介绍 系统： centos7.9x64 k8s集群版本： k8s1.26.5采用kubesphere做页面 caclico版本： calicov3.26.1 containerd版本： containerd://1.6.24 hadoop版本： hadoop3.3.6 helm版本： helm3.9.0 二：编译得到flink的镜像 2.1准备文件： 1.jdk软件 jdk-8u381-linux-x64.tar.gz https://www.oracle.com/sg/java/technologies/javase/...

标签（空格分隔）：kubernetes系列 一：RKE2的介绍 k8s官方部署安装集群的是使用kubeadm方式，但是该方式比较复杂繁琐， 所以产生了一些新的部署安装集群方式，比如k3s和rke2等新方式k3s有着非常庞大的社区支持， 部署安装也非常简单，设计为轻量级的k8s,可以很好的运行在物联网设备或者边缘计算设备上面 据rke2官方文档描述说该部署是继承了k3s的可用性、易操作性和部署模式， 继承了与上游Kubernetes的紧密一致性，在一些地方，K3s与上游的Kubernetes有 分歧(k3s魔改了一些k8s组件),以便为边缘部署进行优化，rke2同时也预设了安全配置， 符合各项...

标签（空格分隔）：kubernetes系列 一：系统环境介绍 系统： centos7.9x64 k8s集群版本： k8s1.26.5采用kubesphere做页面 caclico版本： calicov3.26.1 containerd版本： containerd://1.6.24 hadoop版本： hadoop3.3.6 helm版本： helm3.9.0 二:Spark的实施部署 2.1软件准备 mkdir-p/root/bigdata/spark&&cd/root/bigdata/spark 下载： wgethttps://archive.apache...

标签（空格分隔）：kubernetes系列 一：lokistack的介绍 1.1Loki介绍 Loki是一个可水平伸缩的、高可用的以及多租户的日志集中系统，有这么多功能，唯独没有全文检索。 在其简介中，自称是受到Prometheus的启发：仅保存和处理元数据，而对日志正文不闻不问。 和EFK类似，LokiStack也由采集端、服务端和交互端三个部分构成，其中采集端是可变的， 目前支持Promtail、FluentBit和Fluentd三种，服务端和交互端分别使用的是Loki和Grafana。 Loki是GrafanaLabs团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合...

标签（空格分隔）：kubernetes系列 一：系统环境介绍 系统： centos7.9x64 k8s集群版本： k8s1.26.5采用kubesphere做页面 caclico版本： calicov3.26.1 containerd版本： containerd://1.6.24 hadoop版本： hadoop3.3.6 helm版本： helm3.9.0 二：准备MySQL数据库 vimmysql.yaml ---- apiVersion:v1 kind:Namespace metadata: name:mysql labels: name:mysql --- apiVer...

标签（空格分隔）：运维系列 一：nonvc介绍 noVNC是一个HTML5VNC客户端，采用HTML5WebSockets,Canvas和JavaScript实现，noVNC被普遍用在各大云计算、虚拟机控制面板中，比如OpenStackDashboard和OpenNebulaSunstone都用的是noVNC。noVNC采用WebSockets实现，但是目前大多数VNC服务器都不支持WebSockets，所以noVNC是不能直接连接VNC服务器的，需要一个代理来做WebSockets和TCPsockets之间的转换。这个代理在noVNC的目录里，叫做websockify。 二：实...

一：k8s1.28.x的概述 1.1：k8s1.28.x更新 Kubernetesv1.28是2023年的第二个大版本更新，包含了46项主要的更新。 而今年发布的第一个版本v1.27有近60项，所以可以看出来，在发布节奏调整后， 每个Kubernetes版本中都会包含很多新的变化。 其中20个增强功能正在进入Alpha阶段，14个将升级到Beta阶段，而另外12个则将升级到稳定版。 可以看出来很多都是新特性。 更多内容查看k8s更新介绍 https://zhuanlan.zhihu.com/p/649838674 logo如下： 二：k8s1.27.x的安装 2.1系统安装介绍 操...

一：k8s1.28.x的概述 1.1：k8s1.28.x更新 Kubernetesv1.28是2023年的第二个大版本更新，包含了46项主要的更新。 而今年发布的第一个版本v1.27有近60项，所以可以看出来，在发布节奏调整后， 每个Kubernetes版本中都会包含很多新的变化。 其中20个增强功能正在进入Alpha阶段，14个将升级到Beta阶段，而另外12个则将升级到稳定版。 可以看出来很多都是新特性。 更多内容查看k8s更新介绍 https://zhuanlan.zhihu.com/p/649838674 logo如下： 二：k8s1.28.x的安装 2.1系统安装介绍 操...

标签（空格分隔）：kubernetes系列 一:系统环境介绍 1.1系统介绍 系统：OpenEuler23.03x64 cat/etc/hosts --------- 172.16.10.51flyfish51 172.16.10.52flyfish52 172.16.10.53flyfish53 172.16.10.54flyfish54 172.16.10.55flyfish55 --------- 系统关闭selinux/firewalld清空iptables规则 做好系统的ssh无密钥认证 kubeadminHA+EXTERNALETCD部署架构 1.2下载工具准备 ...

标签（空格分隔）：kubernetes系列 一：系统环境介绍 系统： centos7.9x64 k8s集群最新版本： k8s1.28.2采用kubeadm部署 caclico版本： calicov3.26.2 containerd版本： containerd://1.6.24 hadoop版本： hadoop3.3.6 helm版本： helm3.13.0 二:k8s部署Hadoop集群 2.1部署一套k8s1.28.x集群 k8s1.28.x集群已经部署完成 kubectlgetnode-owide 2.2安装helm包管理工具 下载helm wgethttps://...

标签（空格分隔）：Spark的部分 一：安装jupyter Hadoop集群+spark集群安装忽略 yuminstallepel-release yuminstallpython36 pip3install--upgradepip升级pip到最新版本 pip3installjupyter安装jupyter jupyternotebook--generate-config安装后先生成配置文件，用于后面写入ip，端口号，密码等 ipython进入python终端 ipython In[1]:fromnotebook.authimportpasswd导入包 In[2]:passw...

标签（空格分隔）：协作框架 一：datax概述 1.1datax介绍 1.1、什么使datax DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 1.2、datax的设计 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路， DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候， 只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 1.3datax的架构 ...

标签（空格分隔）：协作框架 1.1Superset概述 ApacheSuperset是一个现代的数据探索和可视化平台。它功能强大且十分易用，可对接 各种数据源，包括很多现代的大数据分析引擎，拥有丰富的图表展示形式，并且支持自定义仪表盘。 1.2环境说明本课程使用的服务器操作系统为CentOS7，Superset对接的数据源为MySQL数据库。第2章Superset安装Superset官网地址：http://superset.apache.org/ 2.1安装Python环境Superset是由Python语言编写的Web应用，要求Python3.7的环境2.1.1安装Minicondaco...

标签（空格分隔）：协作框架 一：data-web的介绍 关于datax-web项目 在做DataX项目测试的时候又收到github的推荐邮件，推荐了一个datax-web的开源项目，这不是瞌睡遇到枕头，再研究研究这个项目是不是符合数据同步的要求。 datax-web：https://github.com/WeiYe-Jing/datax-web 主要的功能：https://github.com/WeiYe-Jing/datax-webfeatures DataXWeb是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面， 降低用户使用DataX的学习成本，缩短任务配置时...