ハイパースケーラーのノウハウを惜しみなく投入した汎用AIデータセンター

エクイニクスのTY15は低遅延も電力密度も液冷も全部入り　安定の横綱相撲だった

　データセンター最大手エクイニクスの日本法人であるエクイニクス・ジャパンはオープンしたばかりの「TY15」のメディア向け見学会を実施した。激増するAIワークロードに対応すべく、ハイパースケーラー向けデータセンターのノウハウを投入しつつ、同社のコアコンセプトである相互接続にもこだわった最新データセンターの実力を見ていこう。

住宅地の中にあるエクイニクスの最新データセンター「TY15」（左）

世界有数の相互接続が可能なTY2に一番近いTY15

　雨の中、品川駅から港南方面に歩くこと15分程度。エクイニクスのTY15はマンションの建ち並ぶ住宅地の中にある。セキュリティの観点からデータセンターの住所は公開されていないことが多いが、エクイニクスのデータセンターはGoogleマップでもきちんと住所が公開されているため、迷わずたどり着けた（関連記事：データセンターの所在地ってやっぱり書いてはいけないのか？）。

　いかにも厳重なエントランスとカメラ、窓のない巨大なビルを見れば、間違いなくここがデータセンターだとわかる。落ち着いたビルの外観も、付近の住民からは違和感なく受け入れられそう（実際、住民からも好評とのこと）。ドアホンで来訪を告げると、エントランスの扉が開き、無事敷地内に入ることができた。木材を多用したラグジュアリなエントランスで入館手続きを終えた後、セキュリティエリア内の会議室に入り、まずはデータセンター戦略と今回のTY15について説明を受ける。

無味乾燥とはほど遠いラグジュアリなTY15のエントランス

　エクイニクスはグローバルで264のデータセンターを抱える業界の最大手だ。都市圏にフォーカスしており、日本では東京圏と大阪圏に20近いデータセンターを抱える。東京圏は、TY15ほか5つのデータセンターを擁する品川エリアのほか、豊洲・有明エリア、文京区・大手町エリアの複数の「キャンパス」を運用しており、各キャンパス内のデータセンターはそれぞれ大容量のネットワークで相互接続されている。また、近年は「データセンター銀座」と言われる千葉の印西エリアや大阪圏にも「xScaler」ブランドのハイパースケーラー向けデータセンターを構築しており、高い電力密度のニーズに応えている。

　エクイニクスがなぜ都市圏にフォーカスするのか？　もちろん、エンタープライズやサービスプロバイダー、ハイパースケーラーなどの顧客から物理的に近いという理由もあるが、一番大きいのは低遅延という要件を満たすことだ。同社が重視するのは、顧客とパブリッククラウドを相互接続するという価値。その価値であるIBX（International Business eXchange）を冠する同社のデータセンターは顧客の近くにあり、低遅延でつながることが絶対的な条件となるわけだ。エクイニクス・ジャパン 代表取締役社長の小川久仁子氏は、「われわれはスペースとパワーでデータセンターを売っているわけではない。エコシステムと呼ぶ相互接続こそが最大の価値」と語る。

　今回取材したTY15は名前の通り、エクイニクスのデータセンターは東京で15棟目のデータセンターになる。収容能力は最大3700キャビネット。世界でも有数のクラウド接続を誇るTY2ともっとも近いデータセンターということで、両者は二系統のダークファイバーで結ばれており、主要クラウドサービスを低遅延で接続できる。また、「Equinix Fabric」と呼ばれるネットワークでグローバルのデータセンターともつながるほか、通信事業者に依存しないキャリアニュートラルという立ち位置を活かし、複数キャリアからの4箇所の入線口を確保している。「つなぐ」という意味では、まさにプレミアムな拠点と言える。

TY15とTY2は2系統のダークファイバーで直結されている

各キャリアと相互接続できるMeet to Me Room

グローバルで標準のスラブ式を採用　バスダクト採用で配線もシンプル

　説明の後は20分程度でデータセンター内を見学。8階建ての建物を上下しながら、サーバーが置かれるコロケーションルーム、機材の搬入口、地下の免震装置、屋上にある冷水製造用のチラーなどを見せてもらった。なお、直接見ることはできなかったが、特別高圧受電設備やディーゼル式発電機、大容量UPSなども案内してもらった。

　TY15の最大の特徴はエンタープライズ向けのIBXデータセンターでありながら、近年急速に高まったAIやHPCなどの電力消費の大きな利用用途を前提に、ハイパースケーラー向けデータセンターで培ったノウハウを投入しているという点だ。「AIでの計算処理、AIプラットフォームの構築、HPCでのR&Dなどさまざまなニーズに応える」と小川氏。IBXデータセンターならではの低遅延と、ハイパースケーラーに肉薄する高い電力密度を満たす汎用AIデータセンターというのがTY15の本質だ。

エクイニクスの東京圏での展開とTY15の位置づけ

　xScaleで培ったAIワークロードへの対応はTY15のあちらこちらに見られる。たとえば、サーバーを設置するコロケーションエリアは、床を底上げしたフリーアクセス式ではなく、スラブ式と言われるコンクリート床が採用されている。AIで利用されるGPUサーバーは当然ながら総重量も大きいため、耐荷重的にもスラブ式の方が望ましい。IBXデータセンターでは初めてのスラブ式とのことだ。

　床下からの配線を前提着いたフリーアクセス式と異なり、スラブ式ではケーブル類はすべて天井から供給される。その点、TY15ではケースに納めた「バスダクト」と呼ばれる電力幹線システムを採用しているため、配線もシンプル。もちろん天井に吊るための耐加重も高めてある。「実は海外ではスラブ式の方が普通で、フリーアクセス式が多いのは日本独自。分電盤からわざわざケーブルを引いてくる必要もない」とエクイニクス・ジャパン 執行役員 IBXオペレーション本部 齋藤晶英氏は語る。

スラブ式のコンクリート床を採用したコロケーションルーム

大阪に続いて液冷対応を実現　高発熱サーバーを冷却

　そしてTY15の最大の特徴は、液冷への対応だ。GPUサーバーのような高い発熱となるIT機器は、すでに空冷での冷却が限界を迎えており、ハイパースケーラーを中心に液冷の導入が進んでいる。液体は空気の3000倍以上の熱伝導率があるため、小さいエネルギーで効率的に冷却が行なえる。液体を利用したチップ直接液冷方式では、パイプで送り込まれた液体で冷却した水冷ヒートシンク（コールドプレート）により、サーバーや熱源となるパーツ自体を冷却する。

　データセンター業界でトレンドとなっている液冷は、現在さまざまな方式が試されているが、日本のデータセンターではいわゆるL2A（Liquid to Air）が主流。これに対してTY15ではより効率の高いL2L（Liquid to Liquid）での冷却に対応し、DLC（Direct Liquid Cooling）での熱を効率的に冷却できる。NVIDIAを始め、DLCを提供しているメーカーからは、L2AとL2Lの仕様がそれぞれ提供されているが、L2Lの方がより効率的。顧客が冷却用液体の分配と循環を行なうCDU（Coolant Distribution Unit）を用意することで、ラックやフロアのCDUを循環する液体をチラーからの水で熱交換し、高い効率で冷却することが可能になる。

　具体的には屋上のチラーから各フロアのサーバルーム用の水冷空調設備までの冷水配管システムが構築されており、ラック間（InRow）やラック背面（Rear-door）などの冷却設備の能力を増強するのみならず、前述したチップ直接液冷にも対応する。

空冷の補完のみならず、液冷ソリューションにも対応する

　フロアCDUからラックまでの間はループ冷水配管で設計されており、仮にラックで問題が発生した場合でも、冷水がつねに供給できるようなシステムとなっている。また、フロアCDUはビルマネジメントシステムと連動しており、つねにデータセンターで監視が可能となっているという。つまり、液冷をデータセンターのサービスとして利用できるわけだが、これは大阪のIBXデータセンター「OS3」でもすでに提供されており、TY15でも利用可能になる予定だ。

　液冷対応のデータセンターはまだまだ少なく、国内では同社とNTTコミュニケーションズのGreen NexCenterくらい（関連記事：NTT Comが稼働中の液冷サーバー初公開　高発熱なGPUサーバーのコロケーションも可能に）。これは液冷でもっとも鍵となる液漏れを防ぐための安全な配管や漏水対策を技術的に確立し、世界で5～6社と言われるCDUメーカーから機器を調達しなければならないためだ。省エネ化、電力密度の確保のため、データセンターの液冷対応は今後も進んでいくと思われるが、エクイニクスがその先鞭を切っているのは間違いない。

室外機に芋、エントランスや会議室に木材　WUEの検証も開始

　こうした液冷への対応も含め、サステイナビリティに関してもさまざまな試みが施されている。同社は現状でも再エネ100％を謳っているが、従来より高効率な空冷チラーや2.4MW対応の大容量UPSにより、電力の効率的な利用と環境負荷の低減を実現する。電力利用効率を表すPUE（Power Usage Effectiveness）は年間平均で1.32を目指すとのこと。あわせて水の利用効率を表すWUE（Water Usage Effectiveness）の検証も開始するという。

　ユニークなところでは、屋外に設置された室外機に芋を植え、遮熱効果を得るための芋緑化が行なわれているという点。コンクリートと鉄の塊とも言えるデータセンターの屋上に紅あずまが栽培されているというのは、なんともアンバランスで面白い。また、エントランスや会議室なども木材がふんだんに使われており、「他のエクイニクスデータセンターに比べて、温かい感じ」（齋藤氏）とのことだ。

屋上の室外機には芋が植えられている

エントランスにも木材がふんだんに使われている

　久しぶりのデータセンター見学だったが、業界を巻き込むAIというビッグトレンドに追従しつつ、都市圏での低遅延と相互接続というIBXデータセンターならではのコンセプトをきちんと押さえたバランスのよさが印象的だった。実際、「用途がAIではないお客さまもそれなりに多いが、両者がきちんと共存できる」（小川氏）とのことで、さまざまなワークロードに対応できる柔軟性が大きな売り。昨今は約2.3兆円で買収されたAirTrunkやMCデジタルリアルティ、元エクイニクスのメンバーが手がけるデジタルエッジなど、新興のライバルも増えてきたが、長年の実績に裏打ちされた安定の横綱相撲というのが個人的な感想だ。

　国内ではデータセンターの地方移転が議論されることも増えたが、エクイニクスとしては「海底ケーブルの陸揚げ場所も重要だが、やはりデータは人口の多いところに集まる」（小川氏）とのことで、引き続き大都市圏にこだわっていくという。

■関連サイト

• エクイニクス