RoCE网络在数据库一体机场景中崭露头角，IB网络逐渐失宠
数据库一体机是一个集成了硬件和软件的设备，专门为数据库场景设计。
以下是数据库一体机的主要优势：
- 简化部署：由于硬件和软件都已经预先集成在一体机中，部署过程变得更加简单快捷。一体机通常会包括预安装的操作系统、数据库软件，以及存储和网络的软硬件。
- 优化性能：数据库一体机的硬件和软件都针对数据库管理进行了优化，组件之间的高度集成，让一体机可以实现更高的吞吐、更低的响应时延。
- 降低维护成本：数据库一体机的硬件和软件都经过了严格的测试和验证，确保各种场景下的稳定性，降低了故障发生的可能性，从而减少了维护成本。另外，还会提供统一的管理界面，使管理和维护变得更加简便。
过去，数据库一体机通常采用X86服务器和InfiniBand网络的硬件环境。然而，InfiniBand网络的部署和维护成本高昂，需要专门的硬件和管理技能。现在，RoCE网络可以提供与InfiniBand网络相当的性能。因此使用RoCE网络替代InfiniBand网络，可以降低成本、提高组网的灵活性和可扩展性，更容易地进行部署和运维。
星融元CX-N系列云交换机可谓是这个场景下所寻找的“梦中情机”，可以帮助用户构建不同规模、灵活、可靠、高品质的低时延RoCE网络，为数据库一体机业务提供卓越的网络服务。
组网方案
1、硬件信息
硬件项目 |
描述 |
数量 |
计算节点 |
Dell PowerEdge R7525 CPU：2 x 18Cores 内存：8 x 32GB 网卡：2 x Mellanox ConnectX®-5 100GE |
2台 |
存储节点 |
H3C UniServer R4900 G3 CPU：2 x 12Cores 内存：4 x 32GB 网卡：2 x Mellanox ConnectX®-5 100GE 数据盘：4 x 3.84TB NVMe SSD |
3台 |
管理节点 |
Linux 虚拟机 |
1台 |
交换机 |
Asterfusion CX532P-N（32 * 100GE） |
2台 |
2、组网拓扑
测试用例
1、RoCE组网与功能测试
RoCE组网测试
前提条件 |
1. 软硬件环境已准备完成 |
测试步骤 |
1. 业务网段1内RDMA流量互通 2. 业务网段2内RDMA流量互通 3. 两个网段跨网段RDMA流量互通 4. 管理网段流量互通 |
测试结果 |
所有测试均通过 |
数据库一体机功能测试
前提条件 |
RoCE组网已完成 |
测试步骤 |
通过数据库一体机管理平台完成如下步骤： 1. 配置管理计算和存储节点 2. 创建存储资源 3. 给计算节点分配存储 4. 创建Oracle RAC数据库 |
测试结果 |
数据库创建成功，数据库实例运行正常 |
2、存储性能测试
前提条件 |
卷已映射至计算节点 |
测试步骤 |
通过FIO工具测试存储性能 |
测试结果 |
使用FIO完成存储性能测试，性能达到预期 |
存储性能测试结果
测试项 |
带宽 （MB/s） |
IOPS （万） |
延迟 （毫秒） |
IO深度 |
单卷JOB数 |
8k随机读 |
14271 |
182.7 |
0.4 |
8 |
2 |
1M顺序读 |
17767 |
17.7 |
/ |
/ |
/ |
3、高可用测试
前提条件 |
卷已映射至计算节点 |
测试步骤 |
1. 使用FIO对计算节点上挂载的存储卷进行压测 2. 拔掉任意节点上其中一个网口的线缆 3. 拔掉交换机互联链路的任意一根线缆 4. 重启一台交换机 5. 断电一台交换机 |
测试结果 |
分别进行2～5步骤操作，IO恢复的时间不超过10s，高可用测试通过。 |
测试结论
本次测试完成了组网方案的可用性测试、存储性能测试，以及高可用测试，经过多场景验证，结论如下：
- 数据库一体机通过使用星融元CX532P-N超低时延云交换机，成功实现了从IB组网方案向RoCE方案的切换
- 同样的配置下，性能与IB媲美 ，实测存储性能为IOPS：8K随机读189万，带宽：18GB/s
- 数据库一体机系统各项功能正常，测试通过
- 高可用场景测试通过