写在前面 有小伙伴选题，简单整理 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 采集原理 一般情况下可以通过selenium来批量获取图片，定位元素，获取URL，逻辑相对简单: 部分页面可能存在翻页，懒加载的情况，一般使用selenium基本可以解决(下文Demo只涉及了懒加载场景) 采集图片实质上是采集图片对应的uri,图片URI一般有三种： 一种为返回可预览的图片，报文类型为image/jpeg,...

写在前面 考试整理相关笔记 博文内容涉及Linuxtuned调优工具的简单认知 调优配置文件的简单说明，自定义调优方案介绍 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 tuned性能调优配置 tuned是RedHat开发和维护的一个用于系统性能优化的工具，它可以根据不同的工作负载和需求，动态地调整系统的各种参数和配置，以提供最佳的性能和效能。 官网是这样介绍它： 使用udev设备管理器监控连接的设备...

写在前面 工作中涉及到相关的知识 在实际的生产中，我们可以有需求对创建的资源做一些类似埋点相关的操作，比如添加一些Pod创建时的自定义验证逻辑，类似表单提交验证那样，或者希望对创建的资源对象进行加工，在比如给资源对象添加对应的zone标签，涉及到SC相关的标签，或者根据命名空间动态织入亲和性和拓扑相关约束,添加一些卷 上面的这些需求我们可以通过k8sAdmissionWebhook来完成，博文为查阅资料整理笔记，内容为涉及 一个大佬写好的自定义准入控制器Demo学习 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的...

写在前面 考试整理相关笔记 博文内容没有涉及具体应该调整哪些内核参数 简单介绍了调整内核参数的方式，proc和sys的简单说明 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 Linux中内核可调参数允许系统管理员和用户根据系统需求和特定的使用场景来调整内核的行为和性能，进行资源管理和性能优化，提高系统安全和稳定性 /proc文件系统 /proc文件系统是一个伪文件系统，通过proc可以查看进程内核数据结...

写在前面 工作中遇到，简单整理 第一次接触，一些粗浅的思考 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 部署方面 pod调度方面 对于AI相关项目，一般镜像都比较大，尤其涉及的库比较多，基本都是以GB为单位，而且部分项目可能需要专门的硬件支持，所以尽可能的通过亲和性(affinity)或者拓扑分布约束(topologySpreadConstraints)来对调度区域进行限制，减少对整个集群节点存储的占...

写在前面 工作中遇到，有大佬做了解答，简单整理 阻塞的主要原因是网络IO密集型和CPU密集型是两个不同的概念,ASGI更多的是面向网络/IO密集型的非阻塞处理，不适用CPU密集型 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 在使用FastAPI做web服务的时候,使用BackgroundTasks执行CPU密集型或者IO密集型任务，会阻塞当前web服务的所有接口。 @app.get('/face_r...

写在前面 准备考试，整理Ceph相关笔记 博文内容涉及，管理和定制CRUSHMap以及管理OSDMap 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 管理和定制CRUSHMap CRUSH和目标放置策略 Ceph通过一种称为CRUSH(可伸缩哈希下的受控复制)的放置算法来计算哪些osd应该持有哪些对象，对象被分配到放置组(pg)，CRUSH决定这些放置组应该使用哪个osd来存储它们的对象,即crush决...

写在前面 考试整理相关笔记 博文内容涉及Linux中资源限制的两种方式简单介绍 用户会话资源限制 进程资源限制 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 使用Cgroups和ulimit管理资源限制 在Linux中，资源控制有两种方式： 一种是基于POSIX(依赖于PAM模块)，用户会话资源限制 一种基于Cgroup，主要用于进程资源限制 通过资源限制，可以对单个进程或者用户会话的资源的...

写在前面 工作需要遇到，简单整理 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 逻辑相对简单，主要通过站长之家https://cdn.chinaz.com/，获取全国省市的CDN节点IP信息 采集流程： 获取CDN厂家信息 跳转页面到指定的厂家，择需要获取的省份 获取当前页IP，循环处理分页数据 处理完当前省份，循环跳转其他省份处理 处理完当前厂家，循环处理其他厂家 代码： !/...

写在前面 工作需要，简单整理 博文内容涉及通过selenium实现自动登陆 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 未登陆用户 保存cookie 假设登陆用户名为:chinaz_7356287 我们需要获取一些CDN的数据，代码很简单，不做说明，自动登陆站长之家的CDN网站https://cdn.chinaz.com/ fromseleniumimportwebdriver importtime...

写在前面 工作中遇到，简单整理 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 采集流程： 自动登陆 获取商家排名页当前页数据 获取总页数，和下一页对应元素 根据总页数循环遍历，模拟点击下一页获取数据分页数据 数据汇总 fromseleniumwireimportwebdriver importjson importtime fromselenium.webdriver.common.byimpor...

写在前面 前几天被问到，这里整理笔记 之前也没怎么注意这个问题 理解不足小伙伴帮忙指正 曾以为老去是很遥远的事，突然发现年轻是很久以前的事了。时光好不经用，抬眼已是半生，所谓的中年危机，真正让人焦虑的不是孤单、不是贫穷、更不是衰老，而是人到中年你才发现，你从来没有按照自己喜欢的方式活过，这烟火人间，事事值得、事事与遗憾，该用多懂事的理智，去压抑住心中的不甘与难过。——余华《活着》 K8sPod中的command、args的配置会覆盖Dockerfile中ENTRYPOINT和CMD指令,具体command命令代替ENTRYPOINT的命令行，args代替CMD的参数。但是并不是说他们...

写在前面 需要存大数据，同事推荐，了解一下 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 ProtocolBuffers（简称Protobuf）是一种轻量级的数据序列化协议，由Google开发。它可用于结构化数据的序列化，使得数据可以在不同平台、不同语言之间进行传输和存储。 Protobuf使用一种类似于XML或JSON的结构化数据表示方式，但它的主要目标是提供更高效的数据序列化和传输。相比于XML和J...

写在前面 工作原因,简单整理 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 简单介绍 通过AdaFace提取人脸特征向量服务，项目来自： https://github.com/mk-minchul/AdaFace 拿到人脸特征向量可以用于获取人脸相似度，通过两个人脸向量的余弦相似度得分 AdaFace简单介绍 低质量人脸数据集中的识别具有挑战性，因为人脸属性被模糊和降级。基于裕量的损失函数的进步提高了嵌...

写在前面 工作中遇到，简单整理 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 海康设备通过SDK查看修改网络摄像头配置 有个简单需求，需要通过程序远程修改海康网络摄像头配置，可以在指定的时间间隔的情况下抓图，通过FTP传到指定服务器，需要修改的网络摄像头配置项： FTP配置NET_DVR_SET_FTPCFG_V40,NET_DVR_GET_FTPCFG_V40 抓图配置NET_DVR_GET_JPE...

写在前面 准备考试，整理ceph相关笔记 博文内容涉及，Ceph管理工具cephadm，ceph编排器，CephCLI和DashboardGUI介绍 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 Ceph存储管理工具 Ceph部署工具 以前的Ceph版本使用Ceph-ansible软件中的AnsiblePlaybooks进行部署并管理集群，CephO版引入了cephadm作为工具来管理集群的整个生命周期...

写在前面 有一个系统中不知道什么原因，Redis有个K要定期清理，但是没有权限在服务器上搞，而且服务器也没有redis的客户端 所以只能本地写一个python脚本，然后配置一个定时任务. 逻辑很简单,但是要考虑集群的问题 想念想念，一经想起便念念不忘了。——烽火戏诸侯《雪中悍刀行》 嗯，实现很简单，连接Redis之后，直接处理就可以了，这里要注意的是集群的问题，redis连接成功，报错 D:\haojingkeji\flask-vue-crud\redisclear>pythonredisclear.pyredis连接成功Redis<ConnectionPool&l...

写在前面 负载这一块的知识有些乱,听人家常说​​软负载​​​、​​硬负载​​​，​​四层负载​​​，​​七层负载​​​、​​客户端负载​​​,​​服务端负载​​之类的,所以梳理一下。 负载均衡在系统架构中是一个非常重要,通过负载均衡可以提高系统的高可用，缓解网络、硬件资源的限制。 博文主要涉及一些项目中常用的负载方式，很浅，不涉及负载算法啥的，做负载离不来代理，所以文中提到代理服务器即负载服务器。 这里梳理的方式从​​Dev​​​和​​Ops​​的概念出发。这里简单分类一下： ​​软负载​​ ​​客户端负载​​ ​​SpringCloudRibbon​​ ​​服务端负载​...

考试顺便整理 博文内容整理涉及使用Ansible部署NFS客户端和服务端 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》 涉及到的文件 [student@workstationfilestorage-automation]$ls ansible.cfginventorynfs_client.ymlnfs_server.ymlsmb_client.ymlsmb_server.ymlsmb_vars.yml...

写在前面 嗯，学习GO，所以有了这篇文章 博文内容为《GO语言实战》读书笔记之一 主要涉及知识 接口是什么 方法集(值接收和指针接收) 多态 傍晚时分，你坐在屋檐下，看着天慢慢地黑下去，心里寂寞而凄凉，感到自己的生命被剥夺了。当时我是个年轻人，但我害怕这样生活下去，衰老下去。在我看来，这是比死亡更可怕的事。--------王小波 Golang里面的多态是指代码可以根据类型的具体实现采取不同行为的能力。 如果一个类型实现了某个接口,所有使用这个接口的地方,都可以支持这种类型的值。标准库里有很好的例子,如io包里实现的流式处理接口。io包提供了一组构造得非常好的接口和函数,来让代码轻...