3D CG製作現場の1PB／数億ファイルを格納するIsilon、同社が3世代にわたり採用してきた理由

“プリキュアのダンスCG”も支えるストレージの変遷、東映アニメが語る

　「現在、オンラインストレージにあるデータ容量はおよそ1ペタバイト（1PB）、2.4億ファイルほどです。これに加えて、過去作品のオフラインデータが約500TB、2億ファイルあります」。

東映アニメーション デジタル映像部が現在導入しているIsilon H500/A200。総容量は約1.5PBで、現在の格納データ容量は約1PB、ファイル数は2億4000万

　Dell Technologies（EMCジャパン）は2020年1月31日、メディア＆エンターテインメント業界におけるスケールアウトNAS「Dell EMC Isilon」の導入事例に関する記者説明会を開催した。

　ゲスト登壇した東映アニメーション デジタル映像部／情報システム部の山下浩輔氏は、「アニメ製作のデジタル化」や「映像の高精細化／データ大容量化」の波が押し寄せている製作現場の実態をふまえながら、同社の3D CG製作現場におけるストレージインフラの歴史、3世代に及ぶIsilon採用の理由、これからのアニメ製作現場で求められるストレージやデータ管理の課題などを説明した。

ゲスト登壇した、東映アニメーション 製作本部 デジタル映像部 テクノロジー開発推進室 課長 兼 情報システム部 課長の山下浩輔氏

近年では手描きアニメの重要な構成要素にも、3D CG映像製作チーム

　東映アニメーションは、創立から60年以上の歴史を持つ老舗であり、なおかつ国内最大手のアニメスタジオ（アニメーション製作会社）だ。テレビや映画、最近ではNetflixのようなネット配信作品も含め、数々のヒットアニメや名作シリーズを手がけている。2018年には、製作拠点である大泉スタジオ（東京都練馬区）をリニューアルオープンした。

　山下氏が所属するデジタル映像部は、近年のアニメ作品で多用されるようになった3D CG映像の製作を担当している。フルCGアニメだけでなく、最近では手描きアニメ作品でも部分的に3D CGパートが組み込まれるケースが増えており、さらには実写映画のVFX（ビジュアルエフェクト）処理、イベント用映像、プロジェクションマッピング用映像などの製作も手がけるという。

　「大泉スタジオには、紙のアニメ（紙に手描きで作画するアニメ）も含めて500～600人のスタッフがいます。そのうちの200人ほどが、デジタル映像部で3D CGを製作しています」（山下氏）

東映アニメーション 大泉スタジオ。同社のアニメ製作拠点であり、2018年1月にリニューアルオープンした

　デジタル映像部の作業フロアには、CGデザイナーが作業を行うワークステーションが約200台、3D CGのレンダリング処理を実行するサーバー（レンダーサーバー）が約200ノード設置されている。これらをつなぐ映像製作用ネットワークの中心にあるのが、IsilonのNAS（ファイルサーバー）アプライアンス群だ。

　「現在はハイブリッドモデルのIsilon H500が6ノード、アーカイブモデルのIsilon A200が8ノード稼働しています。この14ノード全体で1つのボリュームとして（ワンボリューム化して）使っていますが、作業ワークステーションはH500に、レンダーサーバーはA200にアクセスするように、ネットワーク経路は分けています」（山下氏）

　ワークステーションとレンダーサーバーのネットワーク経路を切り分けている理由は、レンダリング処理が始まるとサーバーからIsilonに大量のアクセスが発生するためだ。ネットワーク経路を分けないと、レンダリング処理中はワークステーションからのアクセスが非常に重くなり、ファイルが開けず作業ができない事態が生じるという。

東映アニメーション デジタル映像部の3D CG製作用ネットワーク構成図

総容量わずか2TBのWindows Serverから始まったファイルサーバー遍歴

　デジタル映像部が現在利用しているIsilon H500/A200は、昨年（2019年）導入したものだ。山下氏は、これまで3年間のリースサイクルに合わせて利用してきた、さまざまなファイルサーバー／NAS製品の歴史と変遷を振り返って紹介した。

　まず2003年～2006年は、Windows ServerのストレージヘッドにHP製のSANストレージ「HP VA7000」をFibre Channel接続したファイルサーバーを利用していた。総ストレージ容量は2TBで、ミラーリングと週次のテープバックアップでデータ保護をしていた。

　「当時はアニメの中でようやくCGが使われ始めた時代で、作品数も多くなく、作品中のちょっとした要素を3D CGで作る程度でした。それでもストレージ容量は2TBしかなかったので、作品が終わったらテープにバックアップしてデータを消すという使い回しをしていました」（山下氏）

2003年～2006年のファイルサーバー。Windows Server＋SANストレージの構成で、総容量は2TB、最終格納データ容量は1.6TBだった

　徐々にデジタル映像部の規模が大きくなり始め、ストレージ容量が不足してきたため、続く2006年～2009年にはSANストレージ「HP EVA6000」を導入した。1ラック構成で総容量は16TB、さらに隣にはもう1ラック、Windows Serverのストレージヘッドとテープライブラリを収めたラックがあった。

　前世代と比べるとストレージ総容量は大幅に増加したものの、当時のOSには「1ボリューム2TBまで」という容量制限があった。16TBを1つのボリュームとして使うことができないため、それを切り分けて1TBや2TBのボリュームを複数個用意し、作品ごとに割り当てるという運用方法だった。

　「あらかじめボリュームサイズが決まっていたので、作品によっては製作中に容量が足りなくなったり、逆に想定したほど容量を使わず空き容量が無駄になったりと、運用は大変でした」（山下氏）

　ちなみにこの時期、テレビアニメ「プリキュア」シリーズの番組エンディングとして初めて3D CGのダンスシーンが取り入れられたが（2009年～2010年放映「フレッシュプリキュア！」）、そのCG製作を支えたのはこのストレージだったという。

2006年～2009年のファイルサーバー。SANストレージが1ラック構成、総容量は16TBになったが、ボリュームサイズには“2TBの壁”があった。最終格納データ容量は12TB

　前世代機のリース終了に合わせ、2009年～2012年には「HP EVA6400」を導入した。総容量は44TBとさらに拡大したが、一方で「もはやFibre Channel HDDでなくてもよいのではないか」「週次テープバックアップは不要なのではないか」と、技術の世代変化も実感するようになっていた。

　「Fibre Channelとニアライン（FATA）のHDDを半分ずつという構成にしたのですが、すでにネットワークのほうがボトルネックになっており、HDDのパフォーマンス差は体感できませんでした。また、容量が44TBもあるとテープバックアップ処理に1週間かかり、なおかつテープから戻す（リストアする）ことがほとんどなかったので、ちょうどWindows Storage Serverに追加されたスナップショットの機能でいいよね、という話になりました」（山下氏）

2009年～2012年のファイルサーバー。総容量44TBになったが、1GbE×5のネットワークがボトルネックになりつつあった。最終格納データ容量は23TB、ファイル数は820万

劇場版フル3D CGアニメ「聖闘士星矢」製作を契機にIsilon NASへ乗り換え

　同機が2012年にリース終了を迎えた際にはもうひとつ、「まだWindows Server＋SANストレージという構成を選ぶのか？」という検討課題も持ち上がった。この構成だと、ストレージヘッド、SANスイッチ、ストレージコントローラー、エンクロージャー、HDDと構成要素が多くなり、障害発生要因が増えてしまう。加えて、障害が発生した場合の原因特定も複雑になりがちだ。

　そこで「なるべくシンプルにしたい」という結論に至り、2012年からはNASアプライアンスを利用することになった。まず2012年～2015年は「Isilon X200」と「IBM N3240（NetAppのOEM製品）」という2種類のNASを導入した。導入当時、すでに劇場版のフル3D CGアニメ作品「聖闘士星矢 LEGEND of SANCTUARY」を製作することが決まっており、Isilonはこの作品専用のファイルサーバーとして導入したという。

　「90分のフルCGアニメ作品の製作だったので、ストレージ容量が絶対に足りなくなることはわかっていました。そこで、ワンボリュームで構築できるIsilonを選び、最初に5ノードを導入し、運用上問題ないことを確認したうえで5ノードを追加しました。総容量は160TBになりましたが、最終的にはほぼ聖闘士星矢で使い切りました」（山下氏）

2012年～2015年のファイルサーバー。シンプルさを求めてNASへと乗り換え。IsilonとIBM（NetApp OEM）の合計で総容量は240TB、最終格納データ容量は196TB、ファイル数は7500万

　劇場用作品の製作を乗り切ったことで、次のリプレースもIsilonで良いだろうという判断となった。2015年～2019年は、Isilon X200にニアラインモデルのIsilon NL410を追加し、総容量820TBの構成とした。IsilonのNASに一本化したことで、すべての作品データを1つのボリュームで管理する「念願のワンボリューム運用」が実現できた。

　「3D CGの製作ファイルは、1つのシーンファイルから3Dモデルのファイル、アニメーションのファイルなど、いくつものファイルがツリー状にリンクする形になっています。そのため、ファイルのネットワークパスが変わるとリンクが切れてしまい、作業者が全部直さなければなりません。複数のボリュームで運用し、容量が足りなくなったから別のボリュームに移すというのは、実はそう簡単な話ではありません」（山下氏）

2015年～2019年のファイルサーバー。Isilon NASに統一してワンボリューム運用を開始。総容量820TBだが、最終格納データは800TBとほぼ使い切っていた。最終ファイル数は2億

　そして2019年5月に、現在のIsilon H500とA200というファイルサーバー構成に移行した（記事冒頭スライドを参照）。

　山下氏は、10GbEインタフェース対応でネットワークパフォーマンスが大幅向上したこと、また前世代比で本体サイズが半分以下になったが容量は2倍近くに増えたことなど、移行による大きなメリットを感じていると語る。ネットワークのピーク性能は実測値で約7倍に向上しており、合計400台のワークステーションとレンダーサーバーが一斉にアクセスしても速度低下しにくい環境が実現したという。