どもどもジサトライッペイです。3月31日（現地時間）に行なわれたインテルのサーバー/データセンターのイベント『Intel Could Day 2016』に参加してまいりました。既報でお伝えした通り、このイベントに合わせて14nmプロセスのサーバー/データセンター向けCPU、Xeon E5-2600 v4ファミリー（開発コードネーム：Broadwell-EP）が登場しました。秋葉原ではすでに販売が始まっており、2CPU自作er達もアップを始めました。
イベントのオープニングスピーチに登壇したインテル コーポレーション 上席副社長 兼 データセンター事業本部長のダイアン・ブライアント氏。
インテル コーポレーション 副社長 兼 Xeonプロダクト＆データセンターマーケティンググループ本部長のリサ・スペルマン氏のスピーチでXeon E5-2600 v4が発表されました。
イベント会場に展示していたBroadwell-EPのウェハー。
ウェハーに寄ってみると、ダイあたり6コアが4列並んでいます。最大24コア設計なのでおそらく今回のHCC（High Core Count）のダイですね。
サーバー/データセンター向けのCPUということで、イベントではパートナー企業のプレゼンが多かったのですが、自作PC野郎として最も気になったのはXeon E5-2600 v4ファミリーのラインアップと価格。イベントが明けて4月3日、ようやくインテルの製品情報ページであるIntel ARKに掲載されたのでまとめてみました。
Xeon E5-2600 v4ファミリーのまとめ。
Xeon E5-2697 v4のTRAY価格が2702ドルなのに注目です。単純に日本円換算すると約30万円ですが現在日本では約34万円程度で販売しています。Xeon E5-2695 v4もTRAY価格2424ドル（日本円換算で約27万円）に対して、30万円強で販売しています。つまり、国内販売では1割ぐらい価格が乗っている計算です。そこから考えると、お取り寄せでまだ価格が明らかになっていないXeon E5-2699 v4は、TRAY価格が4115ドル（日本円換算で約46万円）なので、おそらく50万円程度になると思います。2個買うと100万円です。44コア/88スレッド環境への道はとんでもなく険しいものとものとなるでしょう。まあ、まだ対応マザーボードが少ないので、BIOSアップデートがくるまでゆっくり考えるのもアリです。
サンタクララのインテル本社ビル（ロバート・ノイス・ビル）の前で記念撮影。ここで写真撮るのは密かに夢でした。
さて、イベント翌日はインテル本社のIntel ITのデータセンターを見学してきました。現在インテルのデータセンターは60拠点あり、13万5000基以上のXeonサーバーが稼動しています。CPUのコア数は100万個以上となり、ストレージはなんと124PB（ペタバイト）以上。ネットワークポートの数は18万口以上で、エネルギー効率を示す指標のPUE（Power Usage Effectiveness）は1.06/年とのこと。業界標準は1.8で、これと比較すると年間で約190万ドル（約2.1億円）も節約しているとのこと。6年で建設費の元がとれるのを期待しているそうです。
Intel ITのデータセンターの概要。現在60カ所のデータセンターがあり、57.5MWで運用しています。2018年には70MWまで消費電力が上がる模様です。
そんなPUEもさまざまな改良を重ねて現在の1.06を達成したと言います。以下がその変遷です。
データセンターの変遷を説明するスライド。第1世代はスタンダードラック（5kW）に搭載し、天井からの送風で冷やしていました。しかし、このときのPUEは2より上でエネルギー効率はよくありませんでした。まだ暖かい風と冷たい風を分離していません。1990年代に入り、スタンダードラックあたりの消費電力が10kWに。ローエンドからの送風になり、温かい風と冷たい風をエリアごとに分離することで、PUEは1.4に。
2000年初期の第2世代ではスタンダードラックあたりの消費電力が15kWになり、床からの送風にしてPUE1.4をキープ。2000年中期にはチムニーラックあたり30kWになり、ローエンドからの送風でPUEは1.18に減らしました。
2013年には最密度の60Uラックあたりで43kWになり、フリーエアークーリングシステムを導入し、なるべく電力を使わずに冷却する仕組みでPUE1.06を達成。
フリーエアークーリングの仕組み図。1列ごとにサーバーの向きを変えて排気（熱気）と吸気（冷気）が集まる場所を区分けています。熱をもった排気は上昇し、ルーバーを通して建物の外へ出て、外で冷えた空気が再び下に降りてくるというイメージです。
2015年には水冷も採用しています。こちらのPUEは1.07です。
水冷システムの概要。サーバーの排気で生まれる熱だまりを天井に冷却コイルを載せた部屋で囲い、コイルを通して冷却された風が再び外側の吸気に行くというイメージです。
こちらが実際のラックです。送風がすさまじく、体全身で風を感じました。左側のラックには地震対策用の補強プレート（くの字型）がありました。
こちらは排気スペース部。サーバーの裏側にあたり、暖かい風が絶え間なく吹いていました。
とはいえ、室内温度計を見てみると25℃前後でした。
こちらは水冷システムのほうです。部屋の上に大きな冷却コイルが見えます。
水冷システムの内部です。実際にラックが入っているところは写真が撮れませんでしたが、この両脇にラックの排気部があるのをご想像ください。銀色のパイプは冷却液の循環パイプです。
そして、今回の目玉。TOP500で81位になったというスーパーコンピューター『SCD2P4』です。CPUはHaswell-EP世代のXeon E5-2680 v3（12コア/24スレッド）を採用し、合計コア数はなんと3万672個。CPUの数で2556個です。ちなみに、Xeon E5-2680 v3の日本での実売価格は22万円前後なので、CPUだけで5億6232万円です。額が大きすぎて、ちょっと何言っているかわからないレベルですね。
TOP500で81位のスーパーコンピューター『SCD2P4』。ベンダーはHPです。
Intel ITのスーパーコンピューターの歴史。SCD2P4でインターコネクトもGigabit EthernetからInfiniband（FDR）に変更しています。
しかし、それだけ多くのCPUが入っているにもかかわらず、この程度のスペースに収まっているのが意外でした。Xeon E5-2680 v3は2ソケット対応Haswell-EPのラインアップの中で上から8番目のSKUです。Broadwell-EP世代だとTDPが同じく120WのXeon E5-2680 v4が後継モデルに該当しますが、こちらは14コア/28スレッド。同システムでXeon E5-2680 v4を2556個運用すれば、総コア数は3万5784個になり、約16％増になります。性能もリニアに伸びるとは限りませんが、SCD2P4の性能は833.92TFLOPSなので、これだけの省スペースで1PFLOPS近い性能のスーパーコンピューターが出てきてもおかしくありません。ちなみに、TOP500で2013年に世界一位になった中国のスーパーコンピューター『天河2号』は3.86PFLOPSです。天河2号はXeon E5-2692（12コア、2.2GHz、Ivy Bridge-EP）2個＋Xeon Phi3本のノードを1万6000基使っています。この規模でBroadwell-EPのシステムになったら一体どれほどの性能になるのか？ 夢が膨らみます。
