025-86738812

技术资料

专业 • 热情 • 信任 • 拥抱变化

并行存储系统扩容POC实录

时间:2021-10-20 14:43:01 浏览次数: 分类:技术资料

基于以往的项目案例和实施经验,我们精心策划并开启了Geeki说”专栏,用来讲述奥工工程师实践故事和技术体会。

 

5b0d7194a6e745f5be21905165beb790.png 

 随着企业信息化进程的加快和业务规模的不断扩张,庞大的信息量使业务数据不断增加,存储系统初期配置的容量已不能满足现有业务需求,存储扩容成了系统管理工程师们常遇的挑战之一。

 

奥工工程师在大量的集群项目中反复实践,通过增加服务器和存储的方式进行扩容,并根据实际应用场景,不断优化调整实施方案,成功完成项目扩容目标。

 

 

、实施背景

1、项目背景

现有存储集群采用本地SSD组成GPFS分布式文件系统。随着业务的发展,原有的存储资源不足,需要在已有集群架构上进行存储扩容。为此,新增4台服务器、2套存储,将服务器本地的PCIe SSD硬盘+存储HDD硬盘扩容至现有集群的GPFS文件系统中。

 

现有业务系统需保证GPFS文件系统7*24运行,对于新的磁盘组的扩容方式,放弃使用Remotefs,转向新建新的文件系统来实现扩容需求。同时,在扩容和后续的测试过程中,需要保证原有文件系统的正常、稳定运行。 

 

图片2.png 

 

2、技术要求

本次扩容POC的关键在于保证新扩容的GPFS文件系统读写性能达到预期标准。

 

通过以下两方面的技术组合实现对存储容量和性能的较高要求:

1)采用PCIe SSD+HDD的磁盘组合实现GPFS扩容

PCIe SSD提供优异的读写性能,HDD提供大容量的存储空间;

2)运用migrate策略保证性能稳定

当达到预定的目标值后,自动将SSD Pool中的数据迁移到HDD Pool中,以保证SSD Pool有足够的空间保持可持续写入性。

 

 

 

二、实施过程

扩容过程

新建文件系统配置过程略。

配置migrate策略:

RULE 'migrate'    #配置策略名称

MIGRATE FROM Pool 'system'   #配置migratePoolsysytem PoolSSD

THRESHOLD(60,20) #配置migrate生效规则,当system Pool空间占用率达到60% 时生效,达到20%时停止migrate

TO Pool 'data'   #配置migrate目的Pool

REPLICATE(1)    #配置migrate副本数量

 

测试过程

1每台存储创建7Raid66+2),2台存储共14LUN挂载给I/O节点,测试本地SSD读写速度

 图片3.png

测试存储磁盘读写速度

 

 图片4.png

测试结果显示HDD硬盘读写速度偏低,未达到预期目标。

 

2调整存储,划分7Raid66+2),每个Raid划分2LUNI/O节点,重新配置NSD及文件系统。

HDD硬盘进行读写测试,发现性能依旧未有明显提升。

通过检查交换机流量、测试文件落盘方式等信息,均未发现异常。

测试存储裸盘的读写速度,发现裸盘的读写性能也明显低于正常性能水平,此时判断问题原因主要还在存储上

分析原因如下:

1) 存储磁盘初始化进度45%,磁盘初始化可能会影响磁盘性能;

2) 新加的I/O节点与现有集群I/O节点及存储均在同一个100Gb网络环境,集群I/O间通信和I/O与存储间可能存在性能干扰。

解决方法:

1) 等待存储磁盘初始化完成后,再进行一次文件系统读写测试;

2) 后期对新加的4I/O节点每台增加156Gb IB卡,用于与存储直连,将存储网现有100Gb网络隔离,再进行测试。

测试结果

新增56Gb IB卡后进行读写测试发现性能未有提升,排除此原因。

存储初始化完成后再进行测试,发现性能达到标准值的90%,判断此为问题主要原因。

 

3调整存储划分为每台存储6Raid68+2存储缓存为256kGPFS文件系统块大小为16Mb,最终测试结果达到标准预期

1635230320(1).jpg

扩容测试结果达到标准预期

 

 

三、实施体会

 

1635230372(1).jpg 

服务技术的所谓难点往往不在于技术本身,而在于落地的细节。面对技术难点,奥工小分队积极寻求解决思路,反复跟踪排查测试,及时优化调整方案;以切实解决客户实际需求为目标,围绕具体问题,做实技术细节,持续发力为用户提供更省心更便捷的IT服务。


—END—



咨询热线: 025-86738812

公司邮箱: hwclould@ongineer.cn /og@ongineer.cn

公司地址: 南京市雨花台区锦绣街5号绿地之窗C5座1218室

企业文化

专业 / 热情 / 信任 / 拥抱变化

价值观

成就客户 成长自己