025-86738812

技术资料

专业 • 热情 • 信任 • 拥抱变化

GPFS“分层”策略配置实践

时间:2021-03-20 17:08:38 浏览次数: 分类:技术资料

GPFS不仅仅是一种高性能并行文件系统,更是一种领先的文件管理基础设施。它支持 AIX、LINUX和 Windows 操作系统,提供的文件系统操作服务可以支持并行应用和串行应用,在群集中的多个节点间实现对共享文件系统中文件的快速存取操作,并提供丰富的信息生命周期管理功能。


  ▷关于GPFS的详细介绍请看:

 Geeki说丨并行文件系统测试小实践-GPFS。


GPFS拥有突出的高性能和可拓展性,具有显著优点,比如确保I/O在高速率;减小访问磁盘的次数;减少重复性磁盘I/O以提高性能;保证高吞吐的可持续性;提高磁盘带宽和磁盘空间效率等等。凭借它的独特功能与优势,GPFS在客户实际环境中被广泛应用,也成了奥工小分队日常打交道的并行文件系统之一。



除此之外,GPFS还有可以根据实际情况定制各种“高阶”的配置策略,比如remotefs策略、分层策略、afm策略等等。这些“高阶”策略往往需要相关的原厂服务才可以配置,然而如今拥有丰富实践经验的奥工小分队也可以轻松实现GPFS“高阶”策略的配置与实施。接下来,就让我们一起聊聊关于GPFS“分层策略”的配置实践吧。


image.png

超算领域的“分层策略”是通过把不同的资源放置在不同存储位置,从而平衡成本与收益以有效运用资源的一种方式,可以看作是一种存储资源的“投资策略”。一般来说,高速介质往往具有"小容量+高成本"的特点。随着层级下移,容量越大单位成本越低、速度越慢,反之亦然。因此,就需要在存储介质的配置上寻求一个合适的点,充分考虑到成本与效益的均衡关系,实现相对条件下的成本最低和效益最优。这就是“分层策略”配置的关键所在——在不同的层级之间使用有差别的存储介质,即在高速小容量层级的介质层与低速大容量层级的介质层之间进行一种自动/手动数据迁移、复制、管理等操作,以确保在更低的成本下,既能满足性能又能满足容量的需求。


image.png


GPFS具有很好的数据分层实现机制,在某些场景下可以带来显著的性能提升,与此同时GPFS的分层策略难点也不容忽视。一方面是策略应用,GPFS的分层方案众多,需要贴合用户实际情况,如根据使用频率、文件大小、用户权限等决定采用哪一种迁移方案,切记不可套用方案;另一方面是容量规划,由于分层将存储分为热数据和冷数据两部分,想要平衡好这两部分的容量占比,就需要前期大量调研与精细规划。


image.png

先看下本次环境:本次测试环境配备了一套全NVMe高速存储,一套由NL-SAS组成的数据存储,采用GPFS并行文件系统,然后开始配置策略。



首先,在建nsd时分为2个pool,NVMe为system pool,NL-SAS为datapool。


 [root@io01 oglab]# mmlsdisk fs1 

image.png


然后,建立分层策略编写一个rule文件,以K为单位,扫描文件系统里面的文件大小,大于100M的文件从system pool移动到datapool。


 [root@io01 oglab]# cat rule

image.png


注意:在执行前需要查看下磁盘里面有哪些文件。

发现datapool对应的nsd02是空的,system pool对应的nsd01有3个文件。其中test.txt/test1.tar.gz是大于100M的文件。


 [root@io01 oglab]# mmfileid fs1 -d:nsd02

image.png

 [root@io01 oglab]# mmfileid fs1 -d:nsd01

image.png


 [root@c866f1u01 fs1]# ll -h

image.png


再迁移命令:

 [root@io01 oglab]# mmapplypolicy fs1 -P rule


最后查看结果:

 [root@io01 oglab]# mmfileid fs1 -d:nsd02

image.png


 [root@io01 oglab]# mmfileid fs1 -d:nsd01

image.png


结果显示大于100M的文件test.txt和test1.tar.gz两个文件已经迁移至NL-SAS组成的数据存储datapool,也就是nsd02中了。


至此,本次配置分层策略就算定义完成了,后续的迁移会通过编写定时计划任务,即“定个闹钟”在半夜任务量小的情况下自动执行迁移任务。


image.png

存储分层的本质是为了通过合理配置以达到成本和效率两者的“最优解”。通常情况下,我们会选择把热数据放在SSD,温数据放在HDD,冷数据放在离线存储系统中。在上述测试环境中,我们采用了最简单基础的策略——将100M以上的大文件定期从SSD pool迁移至datapool中。然而,真实环境中的策略往往复杂很多,奥工小分队会根据用户文件大小的占比,推断出需迁移文件大小的数值,进行灵活变更,为不同的集群定制不同的分层方案。


在GPFS文件系统中会做存储分层其实只是完成了“50%”的分层策略,另外50%则需要通过配置“最优分层”来实现。为了实现“最优”,需要大量调研掌握集群具体情况、深入了解客户需求,衡量成本与性能,具体问题具体分析。


比如在人工智能行业中,往往需要处理大量图片,小文件较多的情况下可以根据文件的修改时间来制定分层策略,例如“将一周未读写的文件下沉到冷数据层中,相对的常用文件放在SSD层中”。


比如在大气行业中,天气预报的实时性要求很高,随之而来对于计算的速率要求也很高。那么,计算过程会选择放在SSD层中,以确保计算效率。而预报完成后的数据不需要频繁读写,只需要留存就可以。在这种情况下,可以采用每天定时将大于一个数量级的文件放到冷数据中,以确保SSD层容量充裕为下一次的计算做好保障。





根据应用场景的不同,“分层策略”会有不同的组合,真正好的策略应该是“因地制宜”的,而不是“一成不变”的。利用好GPFS的“分层策略”,将对应的数据迁移至合适的存储内,为客户节约成本提高集群效率,这是奥工小分队分内的事情,也是我们不断追求的目标。



—END—


咨询热线: 025-86738812

公司邮箱: hwclould@ongineer.cn /og@ongineer.cn

公司地址: 南京市雨花台区锦绣街5号绿地之窗C5座1218室

企业文化

专业 / 热情 / 信任 / 拥抱变化

价值观

成就客户 成长自己