025-86738812

技术资料

专业 • 热情 • 信任 • 拥抱变化

一次上千节点的服务过程简述

时间:2021-07-09 13:27:18 浏览次数: 分类:技术资料

运维工程师是集群环境平稳运行的保障者,他们面临的主要挑战是确保集群实施部署后的运行稳定和安全保障。随着集群规模的扩大,成百甚至上千个节点同时运行时,需要节点之间精确的通信和联动,这些挑战将更为复杂。

 

运维工程师的能力成长不仅需要IT知识的学习,更离不开实战经验的累积,从数十节点到数百乃至数千节点,奥工服务工程师正是在这种进阶式规模提升的集群服务中不断实践成长。本篇讲述的便是某次1000+节点集群规模的运维实践过程。


11.png


01/项目背景

 

该集群是奥工工程师从长期维护的超算集群中发现,某系统显示目前系统版本内核存在bug。经过各方商讨解决方案,最终决定进行一次大规模的升级与迁移。由于本次处理的用户集群规模大、难度大、问题多,紧急抽调奥工工程师团队力量,共用时三天,顺利完成了升级任务,保障了集群平稳安全运行。



22png.png



■  规模大:

升级的节点高达上千个,数据达到3P,操作难度大。

  难度大:

用户数量很多,集群非常庞大,时间紧任务重。

  问题多:

集群复杂性很高,升级过程中遇到的问题也很多。

 

 

02/升级过程

 

第一步,去官网现在待升级的内核版本、文件系统版本,同时确认各个版本的兼容性,防止软件版本的冲突影响到升级的正常进行。

 

第二步,编辑安装升级脚本。

1.内核更新

此次升级内核版本为kernel-3.10.0-1127.19.1.el7.x86_64

rpm -ivh kernel-3.10.0-1127.19.1.el7.x86_64.rpm

rpm -Uvh *.rpm  

升级完成后,重启机器,使用uname -a查看内核版本是否是升级后的版本

33.png

2.重新安装Ib驱动

首先安装相关依赖包

yum -y install python-devel redhat-rpm-config rpm-build gcc gcc-gfortran tk

重新打上Ib驱动

./mlnxofedinstall --all --force

3.文件系统升级

gpfs-5.0.3-3升级到gpfs-5.0.5.2,注意确认升级版本需要与升级后内核版本相匹配。

 

第三步,单节点-多节点-整个刀箱测试升级脚本。

编写自动化安装脚本,其中包含节点内核升级;gpfs文件系统升级;Ib驱动;hardethib ;gpu 驱动安装(gpu节点需要)等步骤。

节点测试需要从单节点开始,单节点测试安装通过之后测试多节点并行安装,没有问题之后进行整个刀箱批量安装,可以保证在分发所有节点安装脚本时,安装过程的全程自动化不会出现问题。

 

最后一步,通过xcat分发脚本安装所有节点,升级完成。



03/总结感悟

 

每一次任务的圆满完成都凝聚了奥工工程师专业细致、认真负责的职业素养与专业能力,每一次项目上的操作实践都是工程师职业生涯中的宝贵财富。在实践中总结,在经验中成长,反观这次升级与迁移,一定会有珍贵的反思与感悟:


44.png


01/比如某些节点在gpfs升级中配置文件会出现丢失的情况。mmsdrrestore 是在 GPFS 集群灾难恢复中一个很重要的命令,可以用来恢复 GPFS 集群中指定节点的配置文件。工程师们在灾难恢复时主要是恢复 mmsdrfs 这个 GPFS 的重要配置文件。比如在mmsdrrestore 命令,可以执行下面的命令。mmsdrrestore – p node1 – F /var/mmfs/gen/mmsdrfs。通过以上操作,恢复相应的配置文件,保证升级迁移的顺利进行。

 

 

02/节点互信出现问题。在升级某些节点时自动升级脚本失败,通过排查发现是由于该节点互信存在问题。因此需要重做互信,以保证节点正常升级以及后续可以正常加入到集群的作业运行。

 

 

03/理论知识与实际操作之间有很大的沟壑,第一次面对上千节点的升级与迁移,需要以平稳的心态慢慢找问题所在,耐心处理问题,戒骄戒躁;更需要奥工工程师团队的全力支持,每一位成员,他们背后是整个奥工工程师团队,他们的每一次成长也是奥工工程师团队的不断强大。

 

 

奥工工程师历经数百个项目的锤炼,从单节点、几十个节点、到成百甚至上千个节点,无不标刻着他们不惧挑战、脚踏实地的成长印记。

 

专业与负责、团结与信任,是奥工每一位工程师的职业信仰和工作准则。这次上千节点的服务过程,凝聚了团队所有人的心血和力量。未来,奥工服务小分队将继续砥砺奋进,用专业与实力,“成就客户,成长自己”!

 

 

—END—

咨询热线: 025-86738812

公司邮箱: hwclould@ongineer.cn /og@ongineer.cn

公司地址: 南京市雨花台区锦绣街5号绿地之窗C5座1218室

企业文化

专业 / 热情 / 信任 / 拥抱变化

价值观

成就客户 成长自己