蓝色巨人的落日余晖:4 节点 AC922 与 EDR 网络的暴力美学

熟悉服务器领域的朋友都知道,在 x86 统治世界的今天,IBM Power 架构始终像是一位隐居的高手。随着“大船靠岸”,曾经在超算榜单首位(Summit)叱咤风云的 IBM Power9 AC922 服务器,终于以一种极其亲民的价格进入了咱们个人开发者的实验室。

小编最近一口气整了 4 台 IBM AC922,搭配一台 36 端口的 Mellanox EDR 交换机,以及每台机器标配的 ConnectX-5 (CX556A) 双端口 EDR 网卡。这一套组合拳下来,不仅是计算力的堆砌,更是一场关于数据吞吐极限的实验。

为什么要玩 AC922?答案是:带宽,还是带宽!

AC922 并不是一台普通的服务器。它是为了 AI 和高性能计算而生的“怪兽”。其核心魅力在于 NVLink 2.0 的深度集成——不仅是 GPU 之间,连 CPU 到 GPU 之间也是走 NVLink。这意味着在处理超大规模数据流时,它能彻底甩开传统 PCIe 3.0/4.0 带来的瓶颈。

这种架构对于 OpenFOAM 这种 I/O 密集型应用简直是降维打击。配合 100 Gbps 的 EDR InfiniBand 网络,理论上我们可以构建一个延迟极低、带宽极高的分布式并行环境。

折腾笔记:从 ppc64le 到 EDR 交换机

安装过程并非一帆风顺。不同于 Ubuntu 在 x86 上的丝滑,ppc64le 架构的软件生态更像是一片待开发的荒野。我们要面对的是交叉编译、特殊的二进制包,以及那台 36 端口 EDR 交换机发出的、如同喷气式飞机起飞般的轰鸣声。

正如华南主板配精粤显卡需要兼容性调试一样,IBM 的品牌机配上 Mellanox 的交换机,在 OpenMPI 的配置上也让小编熬了几个通宵。

留个悬念:不仅仅是交换机?

这 4 台 AC922 目前已经整齐地躺在老张的机架上了。但在调试过程中,我发现了一个非常有意思的现象:当我们将 4 块双端口 CX556A 网卡通过某种特殊的 环形拓扑(Ring Topology) 直接互联,而不经过这台 EDR 交换机时,某些小规模算例的延迟竟然不增反降!

这种“无交换机”的高速互联方案,是否能成为小型实验室的性能“银弹”?而在 ppc64le 这种特殊的架构下,OpenFOAM 的 Benchmark 成绩究竟能否反杀同价位的 EPYC 平台?

下一篇文章,我们将揭晓这套 AC922 集群的第一个 OpenFOAM 跑分成绩,并深度测试那个神秘的“100G 环形网络”。敬请期待。

常恭

作者: 常恭

略懂 OpenFOAM

发表回复