热工测试确认高密度QSFP-DD模块设计的灵活性与高性能

　　Thermal testing confirms high-density QSFP-DD module design flexibility and performanceScott Sommers

      作者：Molex产品经理兼 QSFP-DD MSA 协会合作主席

　　摘要：QSFP-DD 模块的热力性能已针对高性能数据中心环境下的使用进行了广泛评估。提交并分析了 15W QSFP-DD 模块的热工测试数据及可行性研究结果，对温升和气流进行了对比。

　　关键词：QSFP-DD；模块；数据中心；热；测试

      1 QSFP-DD 模块概览

      QSFP-DD 是业界尺寸最小而又可以提供最高端口带宽密度的 400GbE 模块。QSFP-DD 是与四分之一小形状系数可插拔双密度 (QSFP-DD) 多源协议(MSA) 集团协作开发的成果，满足了市场对下一代高密度、高速可插拔模块的需求。

　　QSFP-DD 形状系数的开发过程充分利用了行业强大的制造能力与成本结构，从而为 40GbE 和100GbE 使用的 QSFP+ 和QSFP28 实际标准提供了大力支持。这一形状系数在一个机架单位 (RU) 上即可启用 36 个 400GbE 端口，提供超过 14 Tbps 的带宽（参见图 1）。

　　QSFP-DD 模块向下兼容从 40 Gbps 到 200Gbps 的所有基于 QSFP 的收发机，并且可以支持一系列的产品，包括：

      • 3 m长的无源铜缆；

      • 在并行多模光纤上支持 100 m的距离；

      • 在并行单模光纤上支持 500 m的距离；

      • 在双工单模光纤上支持 2 km和 10 km的距离；

      • WDM 和连贯设计。

　　2 热需求与热工测试

      在含有可插拔模块的设备的设计过程中，其中的一项挑战是每个插座必须能够承载最大的热负荷。一项对预期的全部光学模块的类型与传输距离的调研结果显示，需要至少 15 W的冷却功率才可以支持QSFP-DD 的最大传输距离（如图2）。

　　幸运的是，行业对于小形状系数模块产品族的构建（以及冷却）具有着丰富的经验。其中包括尺寸较小的 SFP 单通道模块以及向下兼容的 QSFP 4 通道模块。这两种模块都已大量用于当今的网络交换机当中。这些过去的经验可以应用到 QSFP-DD 可插拔模块中，而且通过进一步的创新，现在认为在 400GbE 产品中可以很容易就达到 15 W的功率（参见图 3）。

　　系统设计在对降温进行优化上的灵活性是QSFP-DD 的一项主要优势。平顶的设计通过在热工方面众多可行的创新，可以对顶部的散热器和/或热管进行优化。这种灵活性上的范例包括一系列的端口入口、端口排气口以及边对边的冷却选项。

　　高密度系统采用的是各不相同的印刷电路板 (PCB) 布局、风扇放置方式以及气流控制方案，从而允许对路由、模块布局和气流进行优化。前部对前部的布局可以将 QSFP-DD 模块置于印刷电路板上相对的两侧。在这种设计中，流过印刷电路板两侧的气流为模块的冷却带来一定的优势。与堆叠式的卡笼相比，这样还可为进入模块内部的高速走线实现更好的信号完整性。前部对前部布局的一个缺点就是印刷电路板上组件的高度受到限制，并且高功率交换芯片上散热器的高度需要减小。

　　另一个方案，即堆叠布局，可以将 QSFP-DD 模块安放到印刷电路板的同一侧，从而气流只会在一侧流动。通过将散热器的高度提升到最大程度，这种布局可以为交换芯片的冷却带来优势。采用这种堆叠设计的主要挑战在于向上方堆叠卡笼进行高速走线时的信号完整性，以及下方卡笼模块的冷却问题（如图4）。

　　开展了热工测试以描述在指定工作范围内 QSFP-DD 模块和卡笼的热力性能，并且确保产品操作过程中耐受极端温度时 QSFP-DD 解决方案的稳健性。这些广泛测试的结果详细记录下了气流和热工测试的结果，其中使用了温升作为系统设计的主要参数。在每个测试用例中，目标热力性能是使从环境温度到模块外壳的温升保持在 30°C 以下。

　　3 热工测试 1：堆叠卡笼测试用例

      在上下插槽中同时对模块进行冷却的能力要求将散热器集成到 2x1 的卡笼中。开展了测试以确定模块-卡笼-散热器与高功率光学模块这一组合的热力性能。使用了边对边的 2x1 卡笼来代表 1RU 的交换机，从而开展了模块热工测试。

　　热工测试的主要关注点在于固定的 1RU 系统设计，原因在于，从热设计的角度来说，这种设计通常最具挑战性。对风扇空间进行了限制，这一形状系数代表了最复杂的模块热设计。线卡向外拉出的模块化系统设计通常配有尺寸更大的风扇，在各组件之间能够提供更大的气流。通常情况下，与固定设计相比，模块化系统中的温升要低 5~7°C，如表1~3。

表1

斜坡 H.S. + 干燥 + 夹具，外壳平均温度

斜坡 H.S. + 干燥 + 夹具，内部平均温度

表2

斜坡 H.S. + 干燥 + 高下压力，外壳平均温度

斜坡 H.S. + 干燥 + 高下压力，内部平均温度

表3

斜坡 H.S. + 干燥 + 低下压力，外壳平均温度

斜坡 H.S. + 干燥 + 低下压力，内部平均温度

　　在堆叠卡笼的热工测试中，在预设为低压力或预设为高压力的情况下，使用夹具造成温度升高。这样就产生了非常接近的温度结果，表明夹具设计获得的紧固力较为适宜。当每个 2x1 的卡笼中的气流约为 7CFM 时，模块外壳的平均温升在 21 到 22°C。温升图表明，如果每个 2x1 卡笼上的气流超过 8 CFM，则模块外壳的温升可以小于 20°C。大多数情况下，在经测试的 CFM 范围内，2x1 卡笼中的底部模块运行时可以比顶部模块的温度高出 2 到 4°C。温升与功率图确认了 QSFP-DD 模块/卡笼的组合在小于 30°C温升情况下为所需的 15 W功率提供支持的能力（如图5）。

　　前部对前部的设计中采用的散热器安装在表面安装卡笼的顶部。这种设计在 1U 的交换机设计中应当提供最优的模块气流。这是一项组件级别的测试，采用了两个 1x2 的 QSFP-DD 卡笼，设置在测试板的两侧。全部热工测试都在 40°C 的温度下开展。气流方向为从前到后，并且测试中使用的气流范围视为是系统设计的一个典型范围。前部对前部的热工测试同时采用了 14 W和 15 W的模块功耗。结果显示，模块中心/后部的功耗偏置可带来热力性能上的显著改善。

　　在气流从前向后流动的前部对前部系统中，当每个模块的气流为 6.4 CFM 时，在 46°C 的环境温度下 ，15 W模块的外壳温度可以保持在 70°C 以下。在 40°C 的环境气温下，模块的最大功耗增至 18W。对热环境和/或定制散热器（更高的散热片高度和/或更大的散热片密度）进行优化，可以将模块的最大功耗提升至 18 W以上。需要 6.5 CFM 的气流才能达到所需的热力性能。在 2.5 英寸水柱的压降下使风扇反向旋转即可做到这一点。

　　4 灵活性与经济性

       QSFP-DD 模块的热力性能已针对高性能数据中心环境下的使用进行了广泛评估。获得的数据清楚的表明，温升与气流的对比充分验证了 15 W QSFP-DD模块在现实的数据中心环境下的可行性。

　　作为一种灵活的低成本解决方案，QSFP-DD 模块充分利用了在系统、模块和卡笼的热设计以及策略上的丰富经验。热工测试确认了该形状系数可在产品的定制方面为行业提供最大的灵活性。在堆叠卡笼和前部对前部的配置中，QSFP-DD 模块都可为所需的热负荷提供支持，满足对于下一代高带宽应用的需求。

      本文来源于科技期刊《电子产品世界》2019年第5期第36页，欢迎您写论文时引用，并注明出处