データセンターやネットワーク、プロセッサー、ストレージまでCSAが解説
自社開発技術満載!Microsoft Azureの物理インフラを大解剖
2017年03月30日 07時00分更新
Microsoft Azureのサービスは、140カ国以上の地域に配置された100以上のデータセンターで運用されている。物理インフラを意識せずに使えるのがパブリッククラウドだが、そのデータセンターの中身にちょっと興味はないだろうか。日本マイクロソフト クラウド&ソリューションビジネス統括本部 クラウドソリューションアーキテクトの真壁徹氏に、Azureデータセンターの物理インフラについて教えてもらった。
真壁:こんにちは、マイクロソフトの真壁です。Azureのアーキテクトですが、前職はヒューレット・パッカード エンタープライズ(HPE)で物理のサーバーやストレージ、ネットワークも扱っていました。データセンターの中のことはチョット詳しいです。
Azureのデータセンターには、マイクロソフトが運用するものと、各国のパートナーデータセンターを借りて運用しているものの2種類があります。今回は前者、マイクロソフトが自社で運用しているデータセンターの技術についてお話しします。いずれのデータセンターでもAzureのユーザー向けのサービス仕様は統一されていますが、自社運用のデータセンターにはマイクロソフトが考える最新技術が投入されています。
羽野:よろしくお願いします。Azureのデータセンターは、ユーザーからは「リージョン」という単位で見えていますよね。
真壁:地域内にあるいくつかのデータセンターを束ねて1つのリージョンとしています。Azureリージョンは、東日本と西日本のように必ずペアになっています。冗長化のためですね。
ちなみに、Azureの東日本リージョンのデータセンターは東京と埼玉のどこかにあります。Azureのポータルから東日本リージョンのロケーションを調べると「東京駅」の緯度経度が出てきますが、これは伝搬遅延の想定などに利用するためのおおよその位置で、実際に東京駅の地下にデータセンターはありません。
リージョンのほかに、ユーザーから見えるデータセンター内の情報として「Fault Domain」というものがあります。Fault Domainは、データセンター内で電源とネットワークを共有するグループ、ざっくり言うとサーバーラックです。Azure上に複数のVMを作成してシステムを構築する際に、それらのVMが単一の電源とネットワークを共有しないよう、単一障害点を避ける設計をするために必要な情報です。
羽野:140カ国以上に点在するデータセンター間を接続するバックボーンネットワークは、マイクロソフトが自前で持っているのですか?
真壁:主要な部分は自社で光ファイバーを敷き、各地域のデータセンターへ分岐する回線は各国の通信事業者に借りているケースが多いです。大陸間を長距離つなぐ海底ケーブルを1社で持つのは大変なので、大西洋間はFacebookと一緒に、太平洋間はソフトバンクや中国系企業などとコンソーシアムを作り海底ケーブルを敷いています。大西洋横断ケーブルの通信容量は160Tbps、太平洋横断ケーブルは80Tbpsとなかなか高帯域です。
マイクロソフトのデータセンターは第5世代目
真壁:実はマイクロソフトは1989年から自社データセンターを持っていまして、2005年頃までに作られた第1世代のデータセンターは、MSNメッセンジャーやHotmailなどWebサービスの基盤に使われていました。2007年頃にサーバーを高密度に詰め込んだ第2世代のデータセンターを作ってみたあと、2009年から第3世代としてコンテナデータセンターを自社で設計することに挑戦し始めます。
冷却効率を高めるために“閉じ込めて冷やそう”というのがコンテナデータセンターの発想で、第3世代は屋内にコンテナを置いて空冷していました。その後、2012年頃に作られた第4世代ではコンテナを野ざらしにして外気冷却を採用しています。空冷の電気代がかからなくなったため、第3世代ではPUE1.20~1.50だったエネルギー効率が第4世代ではPUE1.12~1.20まで向上しました。
今現在で最新のデータセンターは第5世代目で、コンテナ型ではありません。冷却技術が進歩し、コンテナほどに閉じ込めなくても外気冷却でPUE1.07~1.19程度の効率が出せるようになったためです。次世代に向けては、海底データセンターを試験中です。海にデータセンターを沈めて海水で冷却してみようと。大都市は沿岸部に多いので遅延が少なくなることが期待されています。
羽野:現在、Azureは何世代目のデータセンターで稼働しているのですか?
真壁:第3世代から第5世代のデータセンターで運用されています。マイクロソフトのデータセンターにAzureが入ったのは第3世代から。第3世代も第4世代も現役で使われており、第3世代のデータセンターに載ったAzureのシステムはそのままそこで稼働しているケースがあります。