「並外れた電力消費産業の1つ」データセンターが、DX加速とサステナビリティを両立させるには

水冷リアドアや液浸サーバーラックも実験、NTT Comが省エネ化技術を紹介

　NTTコミュニケーションズ（NTT Com）は2022年7月28日、「Nexcenter Lab TOKYO」において「データセンターにおける省エネ化の取り組み／技術トレンド」に関する記者説明会を開催した。

　社会全体のDX／デジタル化が進み、大量のデータを処理するデータセンターの重要度は増しているが、その一方、わずか650カ所で日本全体の電力の3％前後を消費していると言われるデータセンターは「並外れた電力消費産業の1つ」（NTT Com）でもある。説明会ではNTT Comとしてこれまで実施してきた具体的な取り組みや、商用化に向けて現在Nexcenter Lab内で技術検証を行っている「リアドア型水冷システム」「液浸冷却ラック」の実環境や検証結果を披露した。

NTT Com「Nexcenter Lab TOKYO」に設置された液浸冷却ラック。左端には冷却液（絶縁性の油）に浸かった状態で稼働するサーバーが見える

データセンターは大量の電力を消費する施設であり、その省エネ化は避けて通れない課題となっている

NTTコミュニケーションズ プラットフォームサービス本部 クラウド＆ネットワークサービス部 担当部長／データセンタープロダクトオーナーの松林修氏、同部 Nexcenter Lab Global Account Managerの内田匡紀氏

これからの「選ばれるデータセンター」には環境性能も必要

　NTTグループが2021年9月に策定／発表した環境エネルギービジョン「NTT Green Innovation toward 2040」では、グループ全体として2030年度に「温室効果ガス排出量の80％削減（2018年度比）」、2040年度に「カーボンニュートラルの実現」を掲げている。ただし、NTT Comが担当するデータセンターやネットワークサービスといった事業においては、2030年度のカーボンニュートラル実現が目標となっている。

　それではNTT Comのデータセンターにおいて、どのような方向性で省エネ／再エネ活用を志向していくのか。松林氏は「より高い冷却性能への対応」「既存データセンターから最新データセンターへのマイグレーション」「環境に配慮したエネルギー活用への加速」という3つを挙げる。

　2つめの「マイグレーション」について松林氏は、データセンターが顧客に選ばれるために「（環境に配慮した）電力の調達、省エネがどれだけ実現できるのか」も重要な要件になってきていると指摘する。また3つめの「環境配慮エネルギー」については、現在のところ国内データセンターの多くが「非化石証書」で対応しているが、今後は外資系ハイパースケーラーなどから「RE100（再エネ100％）」や「追加性のある電力」への対応が求められると予想され、その要件を満たす電力の調達を考えていく必要があると述べた。

　なお環境配慮エネルギーの一環として、NTTグループとして輸送や活用の検討を進めている水素エネルギーにも着目しているという。水素による燃料電池や小型発電装置を設置し、まず2024年度を目標に非常用電源のグリーン化実証を行い、その後は順次商用環境への適用も検討していくという。

これからの省エネ／再エネ志向データセンター実現に向けたNTT Comの方向性

　そして、この日の主題である1つめの「より高い冷却性能への対応」については、小型で処理能力の大きいHPCサーバー／GPUサーバーの設置にどう対応していくのかが鍵を握るという。「令和4年度 情報通信白書」によると、2030年のIPトラフィック、そしてIP関連機器の消費電力はともに、2016年比で約36倍と大幅に増大する見込みだ。しかもサーバーの高密度化が進み、1ラックあたりの消費電力＝発熱量も非常に大きなものとなる。そのため、従来の空冷方式よりも高効率な冷却ソリューションを採用する必要に迫られることになる。

サーバーの高密度化が進む一方で、その消費電力と発熱量の増大にどう対処していくのかが課題となる

より高効率な次世代の冷却システム、商用化に向けた実証結果も

　こうした方向性を示しつつ、松林氏はNTT Comデータセンターにおけるこれまでの取り組みについても紹介した。

　データセンターにおける電力使用量の内訳は、顧客側機器（サーバーなど）によるものが60～70％、NTT Com側設備（共同利用のネットワーク機器、空調機器など）が20～30％、電力ロスが数％とされる。NTT Comでは、顧客側の電力使用量が増大するなかで自社側の省電力化の取り組みを進め、総電力使用量を抑えてきたという。

　具体的には空調／冷却関連の取り組みが中心だ。まず2011年にコールドアイルコンテイメント（コールドアイルの隔離）を採用したほか、2013年にはラックセンサーとAIによる空調のリアルタイム制御を行う「Smart DASH」を導入、2016年には壁面吹き出し空調方式＋ホットアイルコンテインメントの採用、2020年には間接蒸発冷却式空調を初導入している。こうした取り組みの積み重ねにより、2020年にオープンした東京第11データセンターでは平均PUE 1.35という電力効率を実現している。

データセンター省電力化に向けたNTT Comの取り組みの歴史

　そしてさらなる高効率化を目指し、Nexcenter Lab内で商用提供に向けた検証が行われているのが「リアドア型水冷システム」「液浸冷却ラック」といった次世代の冷却システムだ。NTTComのNexcenter Lab Global Account Managerである内田匡紀氏は、現在需要が高まっているAI／マシンラーニングやHPCといった用途では、高スペックのサーバーを高密度に設置するため1ラックあたりの発熱量が大幅に高まっており、従来の冷却方式（空調方式）では間に合わなくなると説明する。

　「近年のデータセンターの基準値としては、平均で1ラックあたり8kW程度、高発熱対応エリアでも1ラックあたり12kW前後（の冷却能力）だった。ただし（AIやHPCといった用途の）ハイスペックコンピューターを搭載する場合は、1ラックあたり20～30kW、さらにそれ以上の冷却能力が求められる。そこでわれわれはここ数年をかけて、それを実現する新しい冷却設備の検証を進めてきている」（内田氏）

需要が増加しつつあるHPCやAI用途のサーバーでは、従来比で2倍以上の冷却能力が求められることになり、空調による冷却では間に合わない

　リアドア型水冷システムは、ラックのリアドア（背面扉）内に冷却水を循環させることで、ラック内のサーバーが排出する熱い空気から熱を吸収し、冷たい空気としてサーバールーム内に放出する仕組みだ。NTT Comでは2018年から実稼働による検証を開始しており、1ラックあたり30kW、さらに1ラックあたり50kWの冷却性能はすでに実証済みだという。シミュレーションによると、リアドア方式を採用することで従来の壁吹空調方式と比較して60％程度の設置面積に抑えられるという。

　液浸冷却ラックは、熱伝導率の高い冷却液（絶縁性の油）に直接サーバーを浸すことで、サーバーの排熱を効率良く回収、冷却する仕組みだ。こちらは2020年5月から検証を開始しており、1ラックあたり100kWの冷却性能を持つという。

次世代冷却システムの実証検証にも取り組んでいる

　いずれの冷却システムについても、商用環境で顧客に提供することが最終目標となっているため、単に冷却能力を検証するだけではなく、運用性やメンテナンス性、耐障害性などの面からも検証を行っているという。

　たとえばリアドアに関して言えば、10ラックを1セットとして、うち1ラックのシステムが故障しても影響が出ないことを確認したり、サーバーメンテナンスでリアドアを何ラックまで開放しても大丈夫かを確認したりしてきたという。また、NTT Com自身が提供する「Smart Data Platform（SDPF）」のIaaS GPU基盤サービス試用環境を、Nexcenter Labのリアドア設置ラック内に構築して、さまざまな業界や用途のPoCに活用している。

リアドア型水冷システム。30kW負荷試験時には、GPUサーバーからの40℃の排気を22℃まで冷却してラック外に排出した

検証環境では10ラックを1セットとして冷却システムの冗長性／耐障害性を高めている。またSDPFのGPUサーバー試用サービス環境もここに設置し、顧客のPoCに活用している

　液浸冷却ラックも、外部から冷水を供給して熱交換で冷却液を冷やす仕組みだ。100kWの熱負荷で実験したところ、チラーで冷却した18℃の冷水を供給した場合、ラック内のピーク温度は47.6℃となった。ただし、チラーを使わない29.8℃の常温水でもピーク温度は53.9℃までしか上がらず、サーバーを安定稼働させるには十分な冷却効果が得られたと語る。

　「つまり、水ではなくて外気との熱交換でも液浸方式の冷却は実現できるし、維持できると考えている。（電力を消費するチラーを使わない）外気と同等の29.8℃という温度でのPUEは1.17まで下がった。インターネットを検索してみると、最適な環境で液浸を検証しているほかの事業者では『PUE 1.07』という数字が出てくるが、われわれの検証結果からもそれは現実的だと思う」（内田氏）

　そのほかにも、ファンを高速回転させる空冷方式とは違って音が非常に静かであり、ラックを小型化すれば場所を問わず設置できるメリットもあると述べた。一方で、まだ液浸方式の認証を行っているサーバーは少なく、現在は一般に販売されている空冷サーバーの内蔵ファンを取り外すなどして実証実験を行っているという。また、光ケーブルのレンズ部分も液に浸すことで屈折率が変わってしまうため、特別な対応が必要だと説明した。

液浸方式ラックの実験結果。外気と同等の水温（下段）でも十分な冷却効果があり、消費電力のさらなる削減ができるという

（左）熱交換ユニットとラック本体。現在はさらに小型の製品もあるという。（右）検証には一般的な空冷サーバーをそのまま利用しているが、（1）電源ファンや空冷ファンを外す、（2）CPUグリスは溶け出すので銀の熱伝導シートに交換する、（3）電源やネットワークのコネクタはフロント側に集約する、といった工夫をしているという。なおファン不要のためサーバーの消費電力自体も抑えられる

■関連サイト

• NTTコミュニケーションズ「Nexcenter Lab」