前へ 1 2 3 4 次へ

自社保有のデータセンター、HDDを100本搭載するサーバー、高速なファイル同期の秘密、AI時代の400Gbネットワーク……

【保存版】ファイル1兆個=470万テラバイト! 巨大クラウド・Dropboxのインフラを支える最新技術

文●大塚昭彦/TECH.ASCII.jp

提供: Dropbox

  • この記事をはてなブックマークに追加
  • 本文印刷

Dropboxに保存されたユーザーデータ量の推移。2024年には、5年前(2020年)の2倍を超える4700PBに達した。近年、動画などの大容量ファイルが増えているためだという

 現在、世界で7億人以上のユーザーを抱えるDropbox。個人でも企業/チームでも手軽に使えるクラウドストレージサービスとして、2024年時点で「1兆ファイル」以上のコンテンツデータを保管しており、その総容量は4700PB(ペタバイト)、つまり「4.7EB(エクサバイト)」 ※注という、とんでもない規模になっている。

※注:一般になじみのあるTB(テラバイト)に換算すると、1PBは1000TB、1EBは100万TBとなる。つまり“470万TB”だ。

 このサービスを支えるのが、Dropboxが自社運用する数万台のサーバー、数百万台のHDD(ハードディスク)で構成される巨大なクラウド基盤だ。ふだんはあまり気にすることのない世界だが、快適なサービスが安心して利用できるように、常に最新のテクノロジーが取り入れられている。

 サービスの裏側にはどんな工夫が詰まっているのか。「データセンターはどこにある?」から「どんなAIサーバーを導入している?」まで、Dropboxのテクノロジー動向を追っている岡崎隆之氏に分かりやすく説明してもらった。

Dropbox Japan アジア太平洋・日本地域統括 ソリューション本部長の岡崎隆之氏

データセンター:ファイルが壊れない確率は「99.999999999%」

――まずは基本的なところから教えてください。わたしがDropboxにファイルを保存すると、どこのデータセンターに保存されるのですか?

岡崎氏:Dropboxでは2016年に、AWSのクラウドから自社保有のインフラに主要なサービス基盤を移行しました。それ以来、Dropbox自身が運用するデータセンターを中心とした構成でサービスを提供しています。

 グローバルなデータセンターインフラは、米国内にありファイルの保存や処理を行う「コアデータセンター」と、東京など世界の主要都市に設置されたネットワーク接続拠点「POP(ポイントオブプレゼンス)」の2種類で構成されています。世界中から快適に利用できるように、POPとコアデータセンターは高速な専用光ファイバー回線(ダークファイバー)で接続されています。

 ですので簡単に言うと、日本でDropboxにアップロードされたファイルは、東京にあるPOPを経由して、米国にあるコアデータセンターに保存される ※注、というのが答えになります。

※注:ただし、Dropboxの企業向け/チーム向けプランの場合は、法令対応のために​​日本地域のデータセンターへのファイル保存も選択できる。

米国内の二重丸がコアデータセンター、そのほかの青丸や白丸がPOP。その間は高速な専用ネットワークで接続されている

――このマップによると、コアデータセンターは米国内に複数あるんですね。

岡崎氏:そうです。災害や大規模障害への備え(DR対策)として、多数のデータセンターが米国の西部、中部、東部に分散配置されていて、それぞれの地域で「ゾーン」を構成しています。ゾーンは各地域にある複数のデータセンターをまとめた単位ですね。

 後で詳しく説明しますが、Dropboxにアップロードされたファイルは、4MBの小さなデータブロックに分割されます。このデータブロックを暗号化したうえで、まず複数のゾーンに分散して保存したのちに、ゾーン内でも複数のサーバーに複製(コピー)を保存します。このように何重もの対策をとって、災害や障害が発生してもファイルが失われないようにしているわけです。

――わたしが想像していたよりもずっと複雑な仕組みで、厳重に保存されているんですね。

岡崎氏:分散/複製保存だけでなく、一部のブロックが消失しても計算により復元できる技術(イレイジャーコーディング)、ゾーン間の複製(レプリケーション)技術なども組み合わせて、Dropboxでは「99.999999999%」(イレブンナイン、9が11個並ぶ)のファイル耐久性を保証しています。これはAWSの「Amazon S3」が保証しているのと同じレベルですね。

 余談ですが、大規模な自然災害などで1つのゾーンがまるごとダウンする事故を想定して、データセンターのケーブルを引き抜いてもサービスが維持できることを確認するテスト、なんてものも実施したことがあります。もちろん慎重に準備をしたうえで実施したものですが、サービス提供には影響なくDRテストを終えることができました。

――(写真を見て)うわー、このケーブルを抜く瞬間はドキドキでしょうね……。やりたくないな……。

コアデータセンターのゾーンを構成する3つのデータセンターで、一斉にケーブルを引き抜くテストも実施

前へ 1 2 3 4 次へ

過去記事アーカイブ

2025年
01月
02月
03月
04月
05月
06月
07月
08月
09月
10月
2024年
01月
02月
03月
04月
05月
06月
07月
08月
09月
10月
11月
12月
2023年
01月
02月
03月
04月
05月
06月
07月
08月
09月
10月
11月
12月
2022年
01月
02月
03月
04月
05月
06月
07月
08月
09月
10月
11月
12月
2021年
03月
04月
05月
07月
08月
09月
10月
11月
12月
2020年
03月
06月
07月
08月
09月
10月
11月
2019年
03月
04月
06月
08月
10月
11月
2018年
01月
03月
05月
08月
11月
2017年
03月
10月
2016年
01月
04月
2015年
02月
04月
07月
10月
2014年
08月
11月
2013年
11月