一、SQLAlchemy介绍 　　SQLAlchemy是PythonSQL工具包和对象关系映射器，为应用程序开发人员提供SQL的全部功能和灵活性。 　　SQLAlchemy支持SQLite、PostgreSQL、Oracle、MySQL、MariaDB、MicrosoftSQLServer等多种数据库。 二、SQLAlchemy安装 　　 　　我安装的版本是：SQLAlchemy2.0.29。注意SQLAlchemy2.x以上的版本和1.x版本差别还是挺大的，注意版本。 　　因为SQLAlchemy不能直接操作数据库，还需要python中的pymysql第三方库，所以还需要安装pymysql ...

一、测试运行python项目 　　1.1Flask项目 　　　　 　　　　说明1：当我们直接用编译器运行Flask项目的时候，会有一个提示：意思就是：这是开发环境的服务器，不能用于生产环境的部署，请使用WSGI的服务器替换 　　1.2Django项目 　　　　 　　　　说明2：当我们直接用编译器运行Django项目的时候，同样有个提示，这是一个开发环境的服务器，意思就是同样不能用于生产环境 　　1.3总结　　 Flask自带一个服务器，主要用在开发环境。默认情况下一次只能处理一个请求，处理能力比较有限。 Django运行runserver命令可以直接作为服务器使用，但是也是单线程的。性能...

一、双主双从架构介绍 　　在MySQL多主多从的架构配置中和双主双从是一样的，学会了双主双从的架构部署，多主多从的配置也同样就回了。下面以双主双从作为示例演示。其中一个主机maste1用于处理所有写请求，它的从机slave1和另外一台主机master2还有它的从机salve2负责所有读数据请求，当master1主机宕机后，master2主机会立刻切换到负责写请求，master1和master2互为备机，架构如下： 　　 二、双主双从主机配置 　　四台MySQL主机，分别如下 　　192.168.3.91：角色master1,启动服务Mycat，MySQL,关闭防火墙 　　192.168.3.9...

一、读写分离介绍 　　读写分离，是把数据库的读和写分开操作，以应对不同的数据库服务器。主数据库提供写操作，从数据库提供读操作，这样能有效的减轻单台数据库的压力。 　　 二、一主一从原理 　　MySQL的主从复制是基于二进制(binlog)实现的 　　 　　说明1：当主服务器的MySQL执行了DML，DDL语句之后，会将数据的变更写入到binlog日志中 　　说明2：在从服务器上有一个IOThread线程会读取主服务器上的binlog日志，然后写入到自己的中继日志(relaylog)中 　　说明3：在从服务器上还有一个SQLThread线程会从自己的中继日志(relaylog)中读取数据变更，然...

一、Mycat-web介绍 　　Mycat-web(现改名为Mycat-eye)是对Mycat-server提供监控服务，通过JDBC连接对Mycat,MySQL监控，监控远程服务器的cpu,内存，网络，磁盘等情况的使用。Mycat-web运行过程中需要依赖zookeeper,因此需要先安装zookeeper,下载地址如下： 　　zookeeper:链接: https://pan.baidu.com/s/1LiQ5qg15Lft0okUDYi9oGg提取码:v926 　　Mycat-web: 链接:https://pan.baidu.com/s/1q-IpEz6pVPAqU...

一、按照月分片 　　使用场景为按照自然月来分片，每个自然月为一个分片，但是一年有12个月，是不是要有12个数据节点才行呢？并不是。例如我现在只有三个分片数据库，这样就可以1月在第一个数据分片中，2月在第二个数据分片中，3月在第三个数据分片中，当来到4月的时候，就会重新开始分片，4月在第一个数据分片，5月在第二个数据分片，6月在第三个数据分片，以此类推。 　　 　　说明1：从开始时间开始，一个月为一个分片，到达结束时间之后，会重复开始分片插入 　　说明2：配置表的dataNode的分片，必须和分片规则数量一致，例如：2023-01-01到2023-12-31，一共就需要12个数据节点 　　说明3...

一、垂直分库场景 　　场景：在业务系统中，涉及一下表结构，但是由于用户与订单每天都会产生大量的数据，单台服务器的数据存储以及处理能力是有限的，可以对数据库表进行拆分，原有数据库如下 　　 　　说明1：整个业务系统中的表，大致分为四个，商品信息类的表，订单相关的表，用户相关表及省市区相关的表，这里暂时将省市区的表和用户相关的表放在一个数据节点上。 　　说明2：因为商品，订单和用户相关的数据，每天都会产生海量的数据，所以我们采取的分库策略是将不同业务类型数据，放在不同数据库中，即垂直分库。   二、准备工作 　　在192.168.3.90，192.168.3.91，192.168.3....

一、schema.xml 　　1.1简介 　　　　schema.xml作为Mycat中最重要的配置文件之一，涵盖了Mycat的逻辑库、逻辑表、分片规则、分片节点即数据源的配置。主要包括一下三组标签 schema标签 datanode标签 datahost标签 　　1.2schema标签 　　　　用于定于Mycat实例中的逻辑库，一个Mycat实例中，可以有多个数据库，可以通过schema标签来划分不同的逻辑库。Mycat中的逻辑库的概念，等同于MySQL中的database概念没需要操作某个逻辑库下的表时，就需要切换逻辑库，同MySQL一样，使用usexxxx语句。 　　　　 　　　...

一、mycat概述 　　mycat是阿里巴巴企业下的开源的，基于JAVA语言编写的MySQL数据库中间件，可以像使用MySQL一样来使用Mycat,对于开发人员来说根本感觉不到mycat的存在。之前在国内使用数据库分库分表，读写分离最主流的就是使用mycat,但是截止到今日2023-12-13日，mycat的网站的下载链接已经不能打开了，不知道是服务器暂时出问题，还是没有人维护了，以后都不在支持更新下载了，但是作为曾经的主流中间件，我个人觉得还是有必要学习一下。我之前保留了Mycat1.6的linux版本现在分享给大家 　　mycat1.6:链接:https://pan.baidu.com/s...

一、介绍 　　单库瓶颈：如果在项目中使用的都是单MySQL服务器，则会随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增长，若采用单数据库进行存储，存在一下性能瓶颈： IO瓶颈：热点数据太多，数据库缓存不足，产生大量磁盘IO,效率低下，请求数据太多，带宽不够，网络IO瓶颈。 CPU瓶颈：排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。 　　分库分表：就是将数据分散存储，是将单一数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。 　　 二、拆分策略 　　 　　2.1垂直分库 　　　　特点：以表为依据，根据业务将...

一、说明： 　　在开发Django项目的时候，很多时候都是使用一个数据库，即settings中只有default数据库，但是有一些项目确实也需要使用多个数据库，这样的项目，在数据库配置和使用的时候，就比较麻烦一点。 二、Django使用多个数据库中settings中的DATABASES的设置 　　2.1默认只是用一个数据库时DATABASES的设置（以SQLite为例） DATABASES={ 'default':{ 'ENGINE':'django.db.backends.sqlite3', 'NAME':'db.sqlite3', } } 　　2.2Django数据库支持的 ...

一、NumPy介绍 　　NumPy是Python中科学计算的基础包，它是一个Python库，提供多维数组对象，各种派生对象（如掩码数组和矩阵），以及用于数组快速操作的各种API，有包括数学、逻辑、形状操作、排序、选择、输入输出、离散傅立叶变换、基本线性代数，基本统计运算和随机模拟等等。 功能强大的N维数组对象。 精密广播功能函数。 集成C/C+和Fortran代码的工具。 强大的线性代数、傅立叶变换和随机数功能。 二、Ndarray介绍 　　NumPy最重要的一个特点是其N维数组对象ndarray，它是一系列同类型数据的集合，以0下标为开始进行集合中元素的索引。ndarray对象是用于存放...

一、DQL介绍 　　DQL全称：DataQueryLanguage(数据查询语言),用来查询数据库中表的记录。 　　关键字：select   二、DQL语法 　　select字段列表from表名列表where条件列表groupby分组字段列表having分组后条件列表orderby排序字段列表limit分页参数 　　注意：本章节只涉及到单表查询，多表查询会在后面的文章中介绍   三、基本查询 　　1、原始表数据 　　　　 　　2、查询多个字段 　　　　语法：select字段1，字段2，...from表名或者selectfrom表名（查询所有数据） 　　　　查询指定字段 　　...

一、介绍 　　DCL：DataControlLanguage(数据控制语言)，用来管理数据库用户，控制数据库的访问，权限。 二、用户管理 　　1、查询用户 　　　　语法： 　　　　　　1、useMySQL; 　　　　　　2、selectfromuser; 　　　　　　　　  　　　　　　　　默认只有四个账户。 　　2、创建用户 　　　　语法：createuser'用户名'@'主机名'identifiedby'密码'; 　　　　　　 　　　　　　 　　　　　　 houlei这个就是新创建的，但是只能在本机上访问，因为主机名这里写的是localhost，如果换成通配符"%"就可...

一、约束的基本概念 　　1、概念：约束是作用于表中字段上的规则，用于限制储存在表中的数据 　　2、目的：保证数据库中的数据的正确性，有效性和完整性 　　3、分类 非空约束(notnull)：限制该字段的数据不能为null 唯一约束(unique)：保证该字段的所有数据都是唯一，不重复的 主键约束(primarykey)：主键是一行数据的唯一标识，要求非空且唯一 默认约束(default)：保存数据时，如果未指定该字段的值，则采用默认值 检查约束(check8.0以后的新约束)：保证字段满足某一个条件 外键约束(foreignkey)：用来让两张变的数据建立连接，保证数据的一致性和完整性 ...

一、多表关系 一对多或者多对一 案例：部门与员工的关系 关系：一个部门对应多个员工，一个员工对应一个部门（不考虑跨部门的特殊情况） 实现：在多的一方建立外键，指向一的一方的主键，这里员工表是多的的一方，部门表是一的一方 　　　　　　   多对多 案例：学生与课程的关系 关系：一个学生可以选修多门课程，一门课程也可以供多个学生选择 实现：建立第三张中间表，中间表至少包含两个外键，分别关联两方主键　　 　　　　　　 一对一 案例：用户与用户详情的关系 关系：一对一关系，多用于单表拆分，将一张表的基础字段放在一张表，其他详情字段放在另外一张表中，艺体生操作效率 实现：在...

一、Mysql体系结构 　　  　　1.1、连接层 　　　　最上层是一个客户端和链接服务，主要完成一些类似于链接处理，授权认证，及相关的安全方案，服务器也会为安全接入的而每个客户端验证它所具有的操作权限 　　1.2、服务层 　　　　第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置函数的执行，所有跨存储引擎的功能叶子啊这一层实现如函数等。 　　1.3、引擎层 　　　　存储引擎真正的负责了Mysql中数据的存储和提起，服务器通过api和存储引擎进行通信，不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，来选取合适的存储引擎 　　...

一、SQL执行频率 　　MySQL客户端 连接成功后，通过show[session|global]status命令可以提供服务器状态信息，通过如下指令，可以查看当前数据库的insert，update，dalete,select的访问频次 show[global|session]statuslike"Com_______";七个_表示起个通配符 mysql>showglobalstatuslike'Com_______'; +---------------+-------+ |Variable_name|Value| +---------------+-------+ |C...

一、索引概述 　　1.1索引的介绍 　　　　索引index：是帮助Mysql 高效获取数据 的 有序的数据结构，在数据之外，数据库系统维护着的满足特定查找算法的数据结构，这些数据结构以某种方式引用(指向)数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引 　　1.2索引的优缺点 优点1：提高数据检索的效率，降低数据库的IO成本 优点2：通过索引列对数据进行排序，降低数据排序的成本，降低CPU的消耗 缺点1：索引列也要占磁盘空间。 缺点2：索引大大提高了查询效率，同时却也降低了更新表的速度，如对表进行insert，update，delete...

一、最左前缀法则 　　如果索引了多列（联合索引），要遵守最左前缀法则。最左前缀法则指的是查询从索引的最左列开始，并且不跳过索引中的列，如果跳跃某一列，索引将部分失效（后面的字段索引失效） 　　示例1：account_transaction表中创建一个联合索引，使用method字段+trader_staff_id字段+operator_staff_id字段三个字段当做联合索引 mysql>createindexmtoonaccount_transaction(method,trader_staff_id,operator_staff_id); QueryOK,0rowsaffected(...