温水水冷(常温直接水冷技术)联想数据中心的秘密武器

2017-10-14 14:05 admin 中关村在线
ROCCAT 捷致

云数据中心在如今已经常态化,不管是互联网三大巨头还是科技企业,都在经营自己的云数据中心,联想集团与北京大学的超大规模温水水冷超算集群采用常温直接水冷技术为未来的大规模数据中心构建带来了新的发展思路。

温水水冷(常温直接水冷技术)联想数据中心的秘密武器图片

一直以来,超算中心都是数据中心的技术试验田,集群的效率往往影响着HPC系统的性能。风冷是多数用户会选择的节能手段之一,其构建起来的复杂度相对较低,而且能够将机房的PUE维持在1.5-3左右。如果再刨除掉UPS等配件,PUE还会进一步降低,当然这需要一定的替代措施。与风冷相比,水冷更适用于物理空间和设备节点较为有限的环境,可以实现更高的效率和密度。而要说到水冷,就不能不提到联想独创的数据中心温水水冷。

据了解,北京大学高性能计算校级公共平台集群在国内率先采用了常温直接水冷技术解决CPU和内存散热问题,LINPACK效率达到92.6%,PUE值达到1.1。该项目采用联想深腾X8800超级计算机系统建设,由227个节点组成,其中计算节点196个、GPU节点10个、KNL节点8个、胖节点3个、管理和登录节点6个、IO节点4个,存储采用联想GSS24存储系统,容量2784.8TB,计算网络采用Omni-path架构,编译器采用GNU和Intel最新编译器套件,作业管理采用Slurm作业调度系统,集群管理采用联想LiCO集群监控管理套件。系统理论计算峰值411万亿次/秒,其中计算节点理论峰值261万亿次/秒,实测计算能力达到242万亿次/秒,存储I/O带宽持续写性能38GB/s,持续读性能50GB/s。

相比传统的空气冷却,联想45摄氏度温水水冷技术最高可降低40%的能耗,比其他厂商的水冷技术能耗低了近20%。在位于德国慕尼黑的超算中心LRZ的一栋大楼中,部署了“SuperMUC”超算集群,该建筑的顶层是冷却塔,下面一层是超算中心,再下面是运行Linux的多种设备,用于托管服务等,最低层是电源等支持设备。SuperMUC的二期工程就采用了这种“free cooling”技术,使得机器的效能达到90.95%。据了解,五年使用下来电费能减少37%,节省了超过1000万欧元,相当于国内一个典型的211大学的高性能计算中心的5年投资和运维的费用。

通常,数据中心水冷是采用16摄氏度的入水。16度的水经过数据中心的服务器后,排出的水温在20度左右,这些水由于温度太低而不能再做其它用途。而采用温水制冷技术,经过系统后排出的水能够达到70多度。这些冷却后流出的热水并不会浪费掉,LRZ会将其重复利用,例如供给暖气管道,在冬天提供暖气。当然,暖气只是一段时间内的需求,SuperMUC Phase 2的吸收式制冷器可以实现全年的高效率回收。

除了莱布尼茨超算中心,联想还在欧洲也帮助西班牙巴塞罗那、意大利博洛尼亚CINECA等众多客户搭建了世界级超算系统。NeXtScale System(飞虎)是联想温水水冷技术的代表作之一,其应用实例是波茨坦气候影响研究所(PIK),这是一家隶属于德国政府的科研机构。为了长期处理从全球各地收集的气候、环境等各类数据,PIK需要一套更快速、更强大的系统来替代现有的高性能计算环境。

经过多伦竞标,PIK最终选择了以联想NeXtScaleSystem M5为主的解决方案,其中包含312个采用了英特尔志强E5-2667v3处理器、使用了直接水冷设计的NeXtScale nx360 M5水冷技术计算节点,6个配备NVIDIA Tesla K40 GPU加速器的NeXtScale nx360 M5计算节点,以及2个用于GPFS存储服务器系统。同时,借助联想GPFS存储服务器解决方案,还使PIK获得了一个集成式、可轻松扩展的存储和备份系统。

温水水冷(常温直接水冷技术)联想数据中心的秘密武器图片

NeXtScale nx360 WCT

部署了联想解决方案之后,PIK超级计算机在全球TOP500中排名第354位,在高能效超级计算机中排名第105位,成为世界上速度最快的400台超级计算机之一。与之前的环境相比,PIK能够将运行复杂数据模拟和模型的速度提高九倍,帮助开展研究的科学家更深入地了解气候变化,并制定策略来实现人类和自然的可持续发展。

可以说,联想之所以能够在HPC领域处于领跑地位,除了以其高性能、高稳定性的服务器产品作为保障,在架构设计和工艺层面的技术创新同样重要。此外,凭借联想遍布全球的供应链,可以快速将英特尔、三星、希捷等客户的新产品和技术集成至各地数据中心。在此过程中,联想统一的系统平台架构也可以将不同的处理器、存储、散热等方案,以模块化的方式部署在同一个架构上。未来的数据中心,靠的不止是黑科技,更是综合能力。

水冷网www.shuileng.net报道云数据中心在如今已经常态化,不管是互联网三大巨头还是科技企业,都在经营自己的云数据中心,联想集团与北京大学的超大规模温水水冷超算集群采用 常温直接水冷技术 为未来的大规模数据中心构建带来了新的发展思路...

Thermaltake 曜越
如果本文侵犯了您的权利, 请联系 goofy543%163.com(请将%换为@) ,本网立即做出处理,谢谢。

延伸 · 阅读

评论 · 交流

说点什么吧,也许可以帮到大家!
  • 全部评论(0
    还没有评论,快来抢沙发吧!