Python学习之十四_Python连接各种数据库的方法(DM,oscar,Oracle,SQLSERVER,MYSQL,PG,Kingbase) 前言 想着能够使用多种数据库进行一些操作. 所以本文档讲解对多种数据库的连接方式进行一下总结. 备查 1.Oracle数据库 方式1:jaydebeapi pipinstalljaydebeapi 需要注意此方式需要客户端有jdk. 必须需要指定驱动的目录,以及驱动的方法函数. 一般写法为: jdbcString='oracle.jdbc.driver.OracleDriver' driverPath='./driver/ojdbc8...

pgcacher的简单学习 学习地址 https://github.com/rfyiamcool/pgcacher https://zhuanlan.zhihu.com/p/551833981 https://zhuanlan.zhihu.com/p/620860777 简单使用 下载pgcacher之后进行一些简单的使用 其实发现hcache好像也可以进行查看 但是这些工具都有一些缺点.仅可以分析存在进程的缓存占用信息 无法分析已经消失(完成工作)的进程 所以会看到他分析的进程缓存大小比free查询出来的大小要小很多. 使用过程 https://github.com/rf...

tempfs的再学习 背景 最近学习研究linux的内存buffer和cache相关的知识. 发现对linux的VFS的理解其实非常不到位. 再验证内存的使用的pagecaches和dropcaches发现自己少考虑了一下 然后又抓紧看了一下tempfs相关知识进行补齐. tmpfs简介 tmpfs(temporaryfilesystem)是一种在计算机内存中创建临时文件系统的技术， 它允许将一部分内存用作文件系统，以存储临时数据。与传统的文件系统不同， tmpfs不保存在硬盘上，而是存在于内存中，这使得访问速度更快。 tmpfs主要用于存储临时数据，例如临时文件、进程间通信的缓...

使用Grafana+jmx监控kafka3.5的过程 摘要 周五一边进行数据库监控,同时想着部署一套监控系统. 能够监控一下kafka等中间件 结果不想自己遇到了很多坑. 下午有同事语音告诉自己一些排查问题的方式与方法. 自己又多花了半个小时才将数据捞出来. 感觉自己对很多工具的使用还是不够体系,需要加强学习. 但是还是需要多学习和多记录的 StudyFrom https://grafana.com/grafana/dashboards/18276-kafka-dashboard/ 需要注意的是两者其实是一套机制. 问题的原因其实在于3.5的kafka可能是与这个文档存在兼容性问题...

使用Grafana监控Nacos的简单过程 背景 与kafka一样,想同期监控一下nacos. 发现nacos跟minio等一样都有对应的metrics的暴露接口. 所以这边简单使用一下. studyFrom https://grafana.com/grafana/dashboards/13221-nacos/ 开始nacos的metrics 我这边nacos安装到了/usr/nacos目录下面 可以修改一下配置文件,将需要监控的信息暴露出来 /usr/nacos/conf/application.properties 增加或者是取消注释如下内容 management.endp...

快速迁移Grafana/Prometheus等的方式方法 背景 有一套鲲鹏环境下面的Grafana监控平台. 同事想能够将平台内的时序数据库等迁移到一个别的机器上进行使用. 自从自己开始搞国产化之后,特别不喜欢使用rpm包的方式进行安装东西 总感觉rpm包安装的文件路径不符合自己的预期.并且迁移较难. 一直希望使用二进制包的方式部署.自己可控,并且方便迁移. 操作过程 我这边部署模式使用的是纯粹的tar.gz包进行部署. 所以迁移只需要迁移文件就可以了. 我这边部署的二进制包主要有: -rw-r--r-1rootroot81M10月2510:25grafana-enterpris...

快速部署minio的一个思路 背景 小型项目上希望能够快速部署一些中间件. 因为minio比较简单,想着快速一键部署. 加快工作效率. 这里将脚本和思路写下来,其他应用可以一样进行. 思路 1.下载好minio的二进制. 2.编写好systemd脚本 3.理论文件和system脚本内的值放置文件,执行启动等. 4.设置开机启动和异常自动重启的设置 二进制获取 wget-chttps://dl.min.io/server/minio/release/linux-arm64/minio-Ominio_arm64 wget-chttps://dl.min.io/server/mini...

Numa以及其他内存参数等对Oracle的影响 背景知识:Numa的理解 Numa分一致性内存访问结构主要是对应UMA一致性内存访问而言的. 在最初一个服务器只有一个CPU的场景下,都是UMA结构,他的优点是简单,硬件实现,操作系统,编译器都简单 但是随着CPU多socket多核心的发展.CPU后来又集成了内存控制器.导致不同CPU核心范围内存的速度出现了不一致的情况. NUMA就是此场景情况下来出现的. 1.最初内存连接到北桥时,可以大体上理解为是UMA结构的. 2.CPU收编北桥集成内存控制器之后,直连内存控制器的核心和内存速度最快. 通过QPI/或者是AMD的链路进行连接的内存访...

解决内存缓存占用多的方法 目标：解决大量Log写入占用大量的FileCache，内容利用不充分导致swap 基本原则：尽量使用内存，减少swap，同时，尽早flush到外存，早点释放内存给写cache使用。 ---特别在持续的写入操作中，此优化非常有效。 调优措施： 临时处理命令 sysctl-wvm.swappiness=10 sysctl-wvm.dirty_ratio=10 sysctl-wvm.dirty_background_ratio=5 sysctl-wvm.dirty_expire_centisecs=500 sysctl-wvm.dirty_writeback_ce...

使用Grafana监控minio的部分改进 部署minio开启监控metrics的脚本 mkdir-p/data/minio/data cat<<EOF>/etc/systemd/system/minio.service [Unit] Description=minio [Service] Type=simple Environment="MINIO_ACCESS_KEY=miniouser" Environment="MINIO_SECRET_KEY=miniopassword" Environment="MINIO_PROMETHEUS_AUTH_TYPE=publ...

OpenGauss单机版安装 银河麒麟的前置事项 yum-yinstalllibaio-develflexbisonncurses-develglibc-develpatchreadline-developenssl-develsqlite-devellibnslbzip2net-tools sysctl-wkernel.sem="25085000250330" 创建用户信息: groupadddbgroup useradd-gdbgroupomm passwdomm mkdir-p/usr/openGauss cat>/etc/profile.d/opengauss.sh&...

nexus的简单安装与使用 文件下载 官网上面下载文件比较麻烦,得科学一些 https://www.sonatype.com/download-oss-sonatype 选择oss开源版进行下载 最新版本的为: 3.61.0 解压缩与安装 解压缩文件到指定目录 比如我放到了/nexus目录下面 创建用户 useraddnexus chownnexus:nexus/nexus 然后 sunexus cd/nexus/bin ./nexusstart 启动就可以 配置文件修改 注意配置文件在 /nexus/bin下面的 nexus.vmoptions 注意可以修改的地方为: -...

Grub2内核启动参数总结 部分参数 biosdevname=0 net.ifnames=0 注意这个配置会修改网卡的名字,比如之前是ens192 添加如上两个内容后就会变成eth0类似于CentOS6的命令特点. 注意修改了网卡名称会导致机器无法上网,需要通过控制台连接机器,并且修改 /etc/sysconfig/network-scprits下面的配置文件,注意文件名和文件内部的name都要进行修改. ipv6.disable=1 会关闭ipv6的设置,查不到ipv6的地址. audit=0 关闭审计,性能会有所提升. numa=off 关闭unma分一致性内存访问,Oracle...

Oracle12cOn银河麒麟的安装过程 学习官网资料 下载最新版的preinstall文件 https://yum.oracle.com/repo/OracleLinux/OL8/appstream/x86_64/getPackage/oracle-database-preinstall-19c-1.0-2.el8.x86_64.rpm 安装必备的部分软件 yuminstallkshlibnsl-y 添加一个配置文件 cat>/etc/redhat-release<<EOF CentOSLinuxrelease8.0 EOF 安装preinstall的rpm r...

ARMv8.0下duckdb的安装与编译过程-解决Failedtoallocateblockof2048bytes 背景 duckdb是一个很流行的单机版数据库引擎 同事下载了相关的预编译的二进制,发现duckdb会报错如下: "OutofMemoryError:Failedtoallocateblockof2048bytes" 详细的错误信息为: ./duckdb v0.9.00d84ccf478 Enter".help"forusagehints. Connectedtoatransientin-memorydatabase. Use".openFILENAME"toreopenona...

OracleRac的简单学习 OracleRAC的概念 OracleRAC(RealApplicationClusters)是Oracle数据库管理系统的一个功能， 它允许将数据库实例部署在多个节点上，实现高可用性和可伸缩性。 通过将数据库实例分散在不同的服务器上，OracleRAC提供了系统级别的容错能力， 即使在一个节点故障的情况下，数据库仍然可用。 OracleRAC使用共享存储架构，所有节点可以同时访问共享的数据库文件和资源。 这样，当某个节点发生故障时，数据库可以自动在其他节点上重新启动，并继续提供服务，从而保证了业务的连续性。 此外，通过动态分配负载和资源管理，OracleR...

TiDB的简单介绍以及进行资源限制的方式与方法 TiDB的简介 TiDB是一个分布式数据库,简介为: TiDB是一个开源的分布式关系型数据库，它兼具了分布式数据库的水平扩展性和传统关系型数据库的ACID事务特性。 TiDB最初由PingCAP公司开发，并于2015年开源发布。创始人自己开发发布过codisredis分布式中间件.在rediscluster发布之前非常流行. TiDB的设计目标是解决传统关系型数据库在大规模数据集、高并发读写和高可用性方面的挑战。 它采用了分布式架构，通过将数据水平分片存储在多个节点上，以支持数据的水平扩展。 同时，TiDB采用了分布式事务协议以保证ACI...

Oracleprocess/session/cursor/tx/tm的简单学习 Oracle的部署模式 Oracle安装时有专用模式和共享模式的区别 共享模式（Sharedmode）： 在共享模式下，会话可以同时读取数据库的数据，多个会话可以并发地进行读取操作。 这意味着多个会话可以共享相同的数据快照，并且彼此之间不会阻塞。 独占模式（Exclusivemode）：在独占模式下，会话可以对数据库进行读取和修改操作。 当会话处于独占模式时，它会获取适当的锁资源，以防止其他会话并发地读取或修改相同的数据。 这种模式在写入和修改数据时非常常见。 需要注意的是，共享模式适用于读取操作，但不适...

Harbor镜像仓库的导出与整理之二 背景 前几天参照大神的blog进行了一下harbor的镜像列表的获取与下载. 当时发现一个很诡异的问题. 实际上镜像仓库里面的镜像很多. 但是导出和列表里面的却很少. 经过查询发现harbor的v2.0的API里面存在一些限制. 每次api的返回结果最多是100个项目. 默认值是10个. 所以理论上他的数值就是projects10的最大值. 这个与项目的需求和场景是严重不符合的. 所以查询了下方式方法进行了一下改进. curl的参数有配置 curl能够设置项目信息等.但是发现,这个里面其实还是存在坑的. 尤其是需要注意&等特殊符号的...

TiDB恢复部分表的方式方法 背景 今天同事告知误删了部分表. 因为是UAT准生产的环境,所以仅有每天晚上11点的备份处理. 同时告知昨天的数据也可以. 得到认可后进行了TiDB的单表备份恢复. 备份的语句 注意TiDB是可以增量备份恢复的 但是为了快速的恢复和解决背景中的问题.我这边采用保留三天备份呢的模式进行处理. now=`date+%Y%m%d%H` exportAWS_ACCESS_KEY_ID=miniouser exportAWS_SECRET_ACCESS_KEY=miniopassword mkdir/nvme02/minio/tidb255xxx${now} ...