2月19日、ニュータニックスは『Facebookの元エンジニアが語るFacebook、Google、Amazonのデータセンター設計の極意』と題するセミナーを開催した。講師を務めたのは米ニュータニックスのテクニカルスタッフのカナン・ムトゥカルパン氏。
スケールアウトアーキテクチャの導入が最重要テーマ
講演を行なったムトゥカルパン氏はニュータニックス入社以前は6年ほどFacebookに勤めており、キーバリュー型データストア“HBase”プロジェクトのテクニカル・リードだったという経歴の持ち主であり、講演のタイトル通り、増大し続けるデータ量に対してFacebookがどのような対処を行なったのかを実体験に基づいて紹介した。
講演を行なった米ニュータニックスのテクニカルスタッフのカナン・ムトゥカルパン（Kannan Muthukkaruppan）氏
データ量の急増傾向に関してはさまざまな予測が発表されているが、同氏が紹介したのは地球上に存在するデジタルデータの総量に関するもので、2010年には0.8ZB（ゼッタバイト）だったのが2012年には2ZBに倍以上に増加しており、さらに2020年には40ZBに達するという予測だ。
一方で、Facebookで記録されたデータ量増大に関するインパクトとして同氏が紹介したのが2007年から2013年の間で記録された写真にまつわる数値で、写真の枚数が約150倍弱、1日当たりのアップロード数が約50倍弱、月当たりのストレージ量の増加分が約320倍弱、写真1枚当たりの容量が7倍、というものだ。枚数が150倍で容量が7倍ということから計算すれば、写真の総容量はざっと1,000倍に増加したという計算になる。これが、「データの爆発」と一般に語られている状況の具体的な数字というわけだ。
ムトゥカルパン氏が示した、Facebookの写真データの2007年から2013年にかけての増加の状況
こうした急速なペースでのデータ量の増大に対応するために重要なポイントとして同氏は「スケールアウトのアーキテクチャに最初から対応しておくこと」を指摘した。Facebookも以前はOracle RACなどの高価で迅速な容量拡張が困難なシステムを採用しており、同氏の入社当時はまだこうした古いシステムも残っていたそうだが、在任中に同氏はHBaseなどのオープンソースベースのシステムに順次入れ替え、刷新を行なったという。ワークロードの特性に応じ、書き込み主体なのか読み出し主体なのか、低レイテンシが重要なのか広帯域が重要なのか、といった要件に応じて適切なデータベースシステムを選定することも重要だが、加えて同氏が強調したのが各種統計情報が適切に収集できることで、こうしたデータなしにはシステムの健全性を判断することが出来ず、改善の手も打てないことになってしまう。
さまざまな要件が考えられるが、同氏がもっとも重要と位置づけたのが「スケールアウトへの対応」だ。同氏によれば、「効率ももちろん重要だが、効率改善は後からでも出来る。しかし、スケールアウトに対応していないシステムを後になってスケールアウト型に変更しようとすれば大きな痛みを伴う」という理由だ。
スケールアウト分散ファイルをシステムを組み込む
ニュータニックスの製品は、主に仮想化プラットフォームとして使われるアプライアンス型のサーバーだが、その大きな特徴はスケールアウト型の分散ファイルシステムを組み込んでいる点になる。2Uサイズのシャシーに田の字型に4台の独立したサーバが収容されるブレード／ブリック型のサーバーで、各サーバーノードには4台までのHDDが内蔵される。通常はこのHDDをDASとして利用することになるが、ニュータニックスでは各サーバノードのHDDを仮想的に繋ぎ合わせて全体で巨大な1つのストレージプール化して利用する。
ニュータニックスのハードウェア構成
IAサーバーの内蔵HDDをスケールアウト型ストレージとして利用するシステムはいろいろあるが、通常はNASとしてネットワーク接続するなど、サーバーとは独立した“ストレージシステム”となる。ニュータニックスは、サーバーノードのプロセッサやメモリがストレージソフトウェアの実行専用ではなく、仮想サーバなどのワークロード処理に使われる点が特徴と言える。結果として、ニュータニックスのアプライアンスでは、筐体内に複数のサーバとストレージプールがまとめて格納される形になり、ストレージのインターフェイスがボトルネックになることを回避できる。
ニュータニックスのソフトウェア的なアーキテクチャ
ニュータニックス合同会社の岡田 卓也氏は製品の特徴を端的に「誰でも使えるGoogle FSを一般向けに販売」するものだと説明している。スケールアウト型の分散ストレージを構築／運用するには相応の技術力やノウハウが必要になるが、それがアプライアンス化され、誰でも容易に利用できる点も、ニュータニックスの大きな特徴だと言えるだろう。
