系统信息 kubesphereversion v3.0.0 k8sversion 1.18.20 故障现象 根据使用KubeSphere创建DevOps工程建好DevOps工程之后，点击创建流水线，如下： 创建一条空的流水线，命名为java，代码仓库可以先不加，高级设置全部不勾选，点击创建： 创建好之后，发现界面并没有我刚才创建的java空的流水线。这里如果你是使用普通授权账户创建的流水线，界面上无任何报错信息，但如你是使用admin账户创建的流水线，则会显示如下形式报错信息。 根据上面的报错信息提示InternalServerError和Jenkins，看不到具体问题所在，我们需要查...

新手写jenkinspipeline，最常见的是在jenkins里直接写，如下所示 这种方式一般适用于初学者，用于了解pipeline。 这种方式对于大规模的pipeline无法做到复用性和可维护性。 另外一种方式则是使用jenkins插件BlueOcean编辑器： BlueOceanPipelineEditor 提供 WYSIWYG 方法来创建声明式流水线。该编辑器提供了所有阶段，并行分支和流水线中步骤的构造视图。编辑器验证了流水线的更改,在它们被提交之前消除了许多错误。在后台，它仍然生成声明式的流水线代码。 优势是：可视化方式，直接明了，可以尝试用用，以...

Logstash提供了一个shell脚本叫logstash方便快速运行。它支持以下参数： -e 意即执行。我们在“HelloWorld”的时候已经用过这个参数了。事实上你可以不写任何具体配置，直接运行bin/logstash-e”达到相同效果。这个参数的默认值是下面这样： input{stdin{} } output{stdout{} } –config或-f 意即文件。真实运用中，我们会写很长的配置，甚至可能超过shell所能支持的1024个字符长度。所以我们必把配置固化到文件里，然后通过bin/logstash-fagent.conf这样的形式来运行。此外，logstash还提供一个方...

pipelinewise是基于开源singer指南开发的数据pipeline工具，与singertap以及target兼容 支持的特性 内置的elt特性 轻量级 支持多种复制方法，cdc（基于log的）基于key的增量模式，全量 管理schema的变动 加载时的数据转换（可以方便进行数据脱敏,数据字段处理） 基于yaml的配置管理 可以集成外部工具 可扩展 说明 pipelinewise基于singer但是超越singer，简化了我们基于singer开发的处理

1、增加数据 1.1单条数据插入 示例代码： fromredisimportStrictRedis importtime try: start=time.time() s=StrictRedis.from_url('redis://192.168.124.49/1') foriinrange(100000): s.set(f"name_{i}",f"dgw_{i}") print("耗时：",time.time()start) exceptExceptionase: print(e) 运行结果： 1.2使用管道批量插入（10） 示例代码： fromredisimportStrictR...

1、背景介绍 使用python给redis发送命令的过程： 客户端发送请求，获取socket，阻塞等待返回； 服务端执行命令并将结果返回给客户端。 基本流程：发送命令->命令排队->命令执行->返回结果         当redis需要执行多条命令时，这是需要多次进行网络传输，需要消耗大量的网络传输时间。如果能够将这些请求命令一次性打包发送给服务器，服务器将处理后的结果一次性再返回给客户端，这样能节约大量的网络传输消耗，大大提升响应时间。这是便需要使用pipeline来进行效率的提升。 2...

介绍 Jenkins2.0的到来，pipline进入了视野，jenkins2.0的核心特性。也是最适合持续交付的feature。 简单的来说，就是把Jenkins1.0版本中，Project中的相关配置信息，如SVN/Git的配置，Parameter的配置等都变成Code，即PipelineasCode。 随着pipeline交付流水线在团队中的推广，使用pipeline脚本的job也迅速增加。 优势 1.通过写代码的形式配置Project，且Jenkins中内置了常用的steps。 2.实现了构建步骤代码化、构建过程视图化。 基础 Pipeline最基本的部分是“step”。基本上，ste...