このページの本文へ

前へ 1 2 次へ

3D CG製作現場の1PB/数億ファイルを格納するIsilon、同社が3世代にわたり採用してきた理由

“プリキュアのダンスCG”も支えるストレージの変遷、東映アニメが語る

2020年02月03日 07時00分更新

文● 大塚昭彦/TECH.ASCII.jp

  • この記事をはてなブックマークに追加
  • 本文印刷

 「現在、オンラインストレージにあるデータ容量はおよそ1ペタバイト(1PB)、2.4億ファイルほどです。これに加えて、過去作品のオフラインデータが約500TB、2億ファイルあります」。

東映アニメーション デジタル映像部が現在導入しているIsilon H500/A200。総容量は約1.5PBで、現在の格納データ容量は約1PB、ファイル数は2億4000万

 Dell Technologies(EMCジャパン)は2020年1月31日、メディア&エンターテインメント業界におけるスケールアウトNAS「Dell EMC Isilon」の導入事例に関する記者説明会を開催した。

 ゲスト登壇した東映アニメーション デジタル映像部/情報システム部の山下浩輔氏は、「アニメ製作のデジタル化」や「映像の高精細化/データ大容量化」の波が押し寄せている製作現場の実態をふまえながら、同社の3D CG製作現場におけるストレージインフラの歴史、3世代に及ぶIsilon採用の理由、これからのアニメ製作現場で求められるストレージやデータ管理の課題などを説明した。

ゲスト登壇した、東映アニメーション 製作本部 デジタル映像部 テクノロジー開発推進室 課長 兼 情報システム部 課長の山下浩輔氏

近年では手描きアニメの重要な構成要素にも、3D CG映像製作チーム

 東映アニメーションは、創立から60年以上の歴史を持つ老舗であり、なおかつ国内最大手のアニメスタジオ(アニメーション製作会社)だ。テレビや映画、最近ではNetflixのようなネット配信作品も含め、数々のヒットアニメや名作シリーズを手がけている。2018年には、製作拠点である大泉スタジオ(東京都練馬区)をリニューアルオープンした。

 山下氏が所属するデジタル映像部は、近年のアニメ作品で多用されるようになった3D CG映像の製作を担当している。フルCGアニメだけでなく、最近では手描きアニメ作品でも部分的に3D CGパートが組み込まれるケースが増えており、さらには実写映画のVFX(ビジュアルエフェクト)処理、イベント用映像、プロジェクションマッピング用映像などの製作も手がけるという。

 「大泉スタジオには、紙のアニメ(紙に手描きで作画するアニメ)も含めて500~600人のスタッフがいます。そのうちの200人ほどが、デジタル映像部で3D CGを製作しています」(山下氏)

東映アニメーション 大泉スタジオ。同社のアニメ製作拠点であり、2018年1月にリニューアルオープンした

 デジタル映像部の作業フロアには、CGデザイナーが作業を行うワークステーションが約200台、3D CGのレンダリング処理を実行するサーバー(レンダーサーバー)が約200ノード設置されている。これらをつなぐ映像製作用ネットワークの中心にあるのが、IsilonのNAS(ファイルサーバー)アプライアンス群だ。

 「現在はハイブリッドモデルのIsilon H500が6ノード、アーカイブモデルのIsilon A200が8ノード稼働しています。この14ノード全体で1つのボリュームとして(ワンボリューム化して)使っていますが、作業ワークステーションはH500に、レンダーサーバーはA200にアクセスするように、ネットワーク経路は分けています」(山下氏)

 ワークステーションとレンダーサーバーのネットワーク経路を切り分けている理由は、レンダリング処理が始まるとサーバーからIsilonに大量のアクセスが発生するためだ。ネットワーク経路を分けないと、レンダリング処理中はワークステーションからのアクセスが非常に重くなり、ファイルが開けず作業ができない事態が生じるという。

東映アニメーション デジタル映像部の3D CG製作用ネットワーク構成図

総容量わずか2TBのWindows Serverから始まったファイルサーバー遍歴

 デジタル映像部が現在利用しているIsilon H500/A200は、昨年(2019年)導入したものだ。山下氏は、これまで3年間のリースサイクルに合わせて利用してきた、さまざまなファイルサーバー/NAS製品の歴史と変遷を振り返って紹介した。

 まず2003年~2006年は、Windows ServerのストレージヘッドにHP製のSANストレージ「HP VA7000」をFibre Channel接続したファイルサーバーを利用していた。総ストレージ容量は2TBで、ミラーリングと週次のテープバックアップでデータ保護をしていた。

 「当時はアニメの中でようやくCGが使われ始めた時代で、作品数も多くなく、作品中のちょっとした要素を3D CGで作る程度でした。それでもストレージ容量は2TBしかなかったので、作品が終わったらテープにバックアップしてデータを消すという使い回しをしていました」(山下氏)

2003年~2006年のファイルサーバー。Windows Server+SANストレージの構成で、総容量は2TB、最終格納データ容量は1.6TBだった

 徐々にデジタル映像部の規模が大きくなり始め、ストレージ容量が不足してきたため、続く2006年~2009年にはSANストレージ「HP EVA6000」を導入した。1ラック構成で総容量は16TB、さらに隣にはもう1ラック、Windows Serverのストレージヘッドとテープライブラリを収めたラックがあった。

 前世代と比べるとストレージ総容量は大幅に増加したものの、当時のOSには「1ボリューム2TBまで」という容量制限があった。16TBを1つのボリュームとして使うことができないため、それを切り分けて1TBや2TBのボリュームを複数個用意し、作品ごとに割り当てるという運用方法だった。

 「あらかじめボリュームサイズが決まっていたので、作品によっては製作中に容量が足りなくなったり、逆に想定したほど容量を使わず空き容量が無駄になったりと、運用は大変でした」(山下氏)

 ちなみにこの時期、テレビアニメ「プリキュア」シリーズの番組エンディングとして初めて3D CGのダンスシーンが取り入れられたが(2009年~2010年放映「フレッシュプリキュア!」)、そのCG製作を支えたのはこのストレージだったという。

2006年~2009年のファイルサーバー。SANストレージが1ラック構成、総容量は16TBになったが、ボリュームサイズには“2TBの壁”があった。最終格納データ容量は12TB

 前世代機のリース終了に合わせ、2009年~2012年には「HP EVA6400」を導入した。総容量は44TBとさらに拡大したが、一方で「もはやFibre Channel HDDでなくてもよいのではないか」「週次テープバックアップは不要なのではないか」と、技術の世代変化も実感するようになっていた。

 「Fibre Channelとニアライン(FATA)のHDDを半分ずつという構成にしたのですが、すでにネットワークのほうがボトルネックになっており、HDDのパフォーマンス差は体感できませんでした。また、容量が44TBもあるとテープバックアップ処理に1週間かかり、なおかつテープから戻す(リストアする)ことがほとんどなかったので、ちょうどWindows Storage Serverに追加されたスナップショットの機能でいいよね、という話になりました」(山下氏)

2009年~2012年のファイルサーバー。総容量44TBになったが、1GbE×5のネットワークがボトルネックになりつつあった。最終格納データ容量は23TB、ファイル数は820万

劇場版フル3D CGアニメ「聖闘士星矢」製作を契機にIsilon NASへ乗り換え

 同機が2012年にリース終了を迎えた際にはもうひとつ、「まだWindows Server+SANストレージという構成を選ぶのか?」という検討課題も持ち上がった。この構成だと、ストレージヘッド、SANスイッチ、ストレージコントローラー、エンクロージャー、HDDと構成要素が多くなり、障害発生要因が増えてしまう。加えて、障害が発生した場合の原因特定も複雑になりがちだ。

 そこで「なるべくシンプルにしたい」という結論に至り、2012年からはNASアプライアンスを利用することになった。まず2012年~2015年は「Isilon X200」と「IBM N3240(NetAppのOEM製品)」という2種類のNASを導入した。導入当時、すでに劇場版のフル3D CGアニメ作品「聖闘士星矢 LEGEND of SANCTUARY」を製作することが決まっており、Isilonはこの作品専用のファイルサーバーとして導入したという。

 「90分のフルCGアニメ作品の製作だったので、ストレージ容量が絶対に足りなくなることはわかっていました。そこで、ワンボリュームで構築できるIsilonを選び、最初に5ノードを導入し、運用上問題ないことを確認したうえで5ノードを追加しました。総容量は160TBになりましたが、最終的にはほぼ聖闘士星矢で使い切りました」(山下氏)

2012年~2015年のファイルサーバー。シンプルさを求めてNASへと乗り換え。IsilonとIBM(NetApp OEM)の合計で総容量は240TB、最終格納データ容量は196TB、ファイル数は7500万

 劇場用作品の製作を乗り切ったことで、次のリプレースもIsilonで良いだろうという判断となった。2015年~2019年は、Isilon X200にニアラインモデルのIsilon NL410を追加し、総容量820TBの構成とした。IsilonのNASに一本化したことで、すべての作品データを1つのボリュームで管理する「念願のワンボリューム運用」が実現できた。

 「3D CGの製作ファイルは、1つのシーンファイルから3Dモデルのファイル、アニメーションのファイルなど、いくつものファイルがツリー状にリンクする形になっています。そのため、ファイルのネットワークパスが変わるとリンクが切れてしまい、作業者が全部直さなければなりません。複数のボリュームで運用し、容量が足りなくなったから別のボリュームに移すというのは、実はそう簡単な話ではありません」(山下氏)

2015年~2019年のファイルサーバー。Isilon NASに統一してワンボリューム運用を開始。総容量820TBだが、最終格納データは800TBとほぼ使い切っていた。最終ファイル数は2億

 そして2019年5月に、現在のIsilon H500とA200というファイルサーバー構成に移行した(記事冒頭スライドを参照)。

 山下氏は、10GbEインタフェース対応でネットワークパフォーマンスが大幅向上したこと、また前世代比で本体サイズが半分以下になったが容量は2倍近くに増えたことなど、移行による大きなメリットを感じていると語る。ネットワークのピーク性能は実測値で約7倍に向上しており、合計400台のワークステーションとレンダーサーバーが一斉にアクセスしても速度低下しにくい環境が実現したという。

前へ 1 2 次へ

カテゴリートップへ

ピックアップ