エクサバイト規模のストレージと高性能を実現するネットワーク

AWSをやめたDropbox、自社DCに移行した背景とメリットを語る

2018年08月31日 07時00分更新

文●大谷イビサ／TECH.ASCII.jp

　2018年8月30日、クラウドストレージサービス「Dropbox」を展開するDropbox Japanは、グローバルのストレージインフラやネットワークについての説明会を実施。AWSにあったシステムを自社データセンターに移した背景やそのメリットなどをDropbox Japanの保坂大輔氏が説明した。

エクサバイトに向け加速度に増え続ける超巨大システム

　Dropboxを支えるテクノロジーについて説明した保坂氏は、まずDropboxのサービスのスケール感について説明した。Dropboxが展開されている国は現在180以上で、登録ユーザー数も5億人以上になる。このうち1100万におよぶ有料ユーザーの80％以上はDropboxを業務で利用しており、個人向けサービスのイメージからは脱却しつつある。実際、日本でも関西大学やアディダスなどが万単位のアカウント数で運用しているという。

Dropbox Japan ソリューションアーキテクト保坂大輔氏

　顧客データも1エクサバイト（1EB＝1000PB）と膨大な容量で、ファイル数も4000億以上。しかも加速度的に増えており、2012年40PBだったデータが2016年には約12倍の500PB、そしてそこから2年かからず現在の1EBにまで拡大しているという。もちろん、ファイル同士のすさまじいトランザクションをさばくネットワークに関しても、大容量で強固なものが必要になる。「もはや自らインフラを整備しないと、お客様の要望に応えられないところまで来た」（保坂氏）とのことで、2008年のサービス開始以来データセンターと併用してきたAWSをやめ、自社データセンターに移行する決定をしたのが2014年の話だ。

Dropboxのインフラのスケール

　成長を続けるAWSをやめ、自社データセンターに“先祖返り”したDropboxの選択は大きな話題となった。また、超巨大システムをオンラインでデータセンターに移行させるというプロジェクトは、「飛んでいる飛行機のエンジンを交換する」と言われるほど難易度の高いものだったが、2015年に無事完了。現在、1EBに上る顧客データはDropbox独自の「Magic Pocket」と呼ばれる独自ストレージシステムに格納されている。

自社サービスに向け、ストレージとネットワークをチューニング

　Magic Pocketが目指したのは、競争優位性を確保できる高いセキュリティとパフォーマンス、そして新しい技術への対応だ。AWSのようなクラウドからあえて自社設計・運用に移行した理由について保坂氏は、「AWSはあくまで汎用性を重視したサービス。Dropboxは自社サービスに向けて専用にチューニングしたかった」と語る。

エクサバイト規模のストレージシステム「Magic Pocket」

　この1つの事例が、現在導入を進めているシングル磁気記録方式（SMR：Shingled Magnetic Recording）のハードディスクだ。SMRはデータを記録する際に、トラックを重ねるようにデータを書き込むことで、磁気ヘッドの幅を狭めずに、記録密度を向上させる技術。仕組み上、シーケンシャルな書き込みに特化しているが、Dropboxのファイルの利用状況を調べると、更新は最初のみに偏るため、容量向上のメリットの方が大きいという。エクサバイト級での規模のSMR技術の導入は初めてになるという。

シングル磁気記録方式の導入

　セキュリティに関しても、さまざまなベストプラクティスを実装している。多要素認証はもちろん、既存のハッシュに比べて強度の高いソルト付きハッシュを実装したパスワードを導入。また、侵入検知やフォレンジック、ロギング検知などを実施するほか、侵入テストやバグ発見の奨励金も出している。ファイルの暗号化はもちろんだが、認証もSCO2/SOC3、ISO270001、HIPPAのほか、個人情報を扱うためのISO27017・27018、Dropbox自体の事業継続性を証明するISO22301まで取得している。「GDPRに関しても施行前にほとんど対応している状況だった」（保坂氏）。さらにDropboxではデータはすべて4MBブロックに分散配置され、さまざまなレベルの障害に対応。ファイルとメタデータのサーバーも異なっており、多層化されたセキュリティ対策が導入されていることもあり、外部からの不正侵入や情報詐取はきわめて難しいという。

　Dropboxの特徴とも言える高い同期性能やデータの損失防止を実現するネットワークも自前で構築している。北米、アジア、欧州のネットワークを異なるキャリアの4本の物理ケーブルでつないでいるとのこと。ISPや企業とのピアリングを実現するPOPもグローバルに設置しており、2018年末までに12ヶ国で合計29のPOPを構築できる見込みだという。