「現在、オンラインストレージにあるデータ容量はおよそ1ペタバイト（1PB）、2.4億ファイルほどです。これに加えて、過去作品のオフラインデータが約500TB、2億ファイルあります」。

　Dell Technologies（EMCジャパン）は2020年1月31日、メディア＆エンターテインメント業界におけるスケールアウトNAS「Dell EMC Isilon」の導入事例に関する記者説明会を開催した。

　ゲスト登壇した東映アニメーション デジタル映像部／情報システム部の山下浩輔氏は、「アニメ製作のデジタル化」や「映像の高精細化／データ大容量化」の波が押し寄せている製作現場の実態をふまえながら、同社の3D CG製作現場におけるストレージインフラの歴史、3世代に及ぶIsilon採用の理由、これからのアニメ製作現場で求められるストレージやデータ管理の課題などを説明した。

近年では手描きアニメの重要な構成要素にも、3D CG映像製作チーム

　東映アニメーションは、創立から60年以上の歴史を持つ老舗であり、なおかつ国内最大手のアニメスタジオ（アニメーション製作会社）だ。テレビや映画、最近ではNetflixのようなネット配信作品も含め、数々のヒットアニメや名作シリーズを手がけている。2018年には、製作拠点である大泉スタジオ（東京都練馬区）をリニューアルオープンした。

　山下氏が所属するデジタル映像部は、近年のアニメ作品で多用されるようになった3D CG映像の製作を担当している。フルCGアニメだけでなく、最近では手描きアニメ作品でも部分的に3D CGパートが組み込まれるケースが増えており、さらには実写映画のVFX（ビジュアルエフェクト）処理、イベント用映像、プロジェクションマッピング用映像などの製作も手がけるという。

　「大泉スタジオには、紙のアニメ（紙に手描きで作画するアニメ）も含めて500～600人のスタッフがいます。そのうちの200人ほどが、デジタル映像部で3D CGを製作しています」（山下氏）

　デジタル映像部の作業フロアには、CGデザイナーが作業を行うワークステーションが約200台、3D CGのレンダリング処理を実行するサーバー（レンダーサーバー）が約200ノード設置されている。これらをつなぐ映像製作用ネットワークの中心にあるのが、IsilonのNAS（ファイルサーバー）アプライアンス群だ。

　「現在はハイブリッドモデルのIsilon H500が6ノード、アーカイブモデルのIsilon A200が8ノード稼働しています。この14ノード全体で1つのボリュームとして（ワンボリューム化して）使っていますが、作業ワークステーションはH500に、レンダーサーバーはA200にアクセスするように、ネットワーク経路は分けています」（山下氏）

　ワークステーションとレンダーサーバーのネットワーク経路を切り分けている理由は、レンダリング処理が始まるとサーバーからIsilonに大量のアクセスが発生するためだ。ネットワーク経路を分けないと、レンダリング処理中はワークステーションからのアクセスが非常に重くなり、ファイルが開けず作業ができない事態が生じるという。

総容量わずか2TBのWindows Serverから始まったファイルサーバー遍歴

　デジタル映像部が現在利用しているIsilon H500/A200は、昨年（2019年）導入したものだ。山下氏は、これまで3年間のリースサイクルに合わせて利用してきた、さまざまなファイルサーバー／NAS製品の歴史と変遷を振り返って紹介した。

　まず2003年～2006年は、Windows ServerのストレージヘッドにHP製のSANストレージ「HP VA7000」をFibre Channel接続したファイルサーバーを利用していた。総ストレージ容量は2TBで、ミラーリングと週次のテープバックアップでデータ保護をしていた。

　「当時はアニメの中でようやくCGが使われ始めた時代で、作品数も多くなく、作品中のちょっとした要素を3D CGで作る程度でした。それでもストレージ容量は2TBしかなかったので、作品が終わったらテープにバックアップしてデータを消すという使い回しをしていました」（山下氏）

　徐々にデジタル映像部の規模が大きくなり始め、ストレージ容量が不足してきたため、続く2006年～2009年にはSANストレージ「HP EVA6000」を導入した。1ラック構成で総容量は16TB、さらに隣にはもう1ラック、Windows Serverのストレージヘッドとテープライブラリを収めたラックがあった。

　前世代と比べるとストレージ総容量は大幅に増加したものの、当時のOSには「1ボリューム2TBまで」という容量制限があった。16TBを1つのボリュームとして使うことができないため、それを切り分けて1TBや2TBのボリュームを複数個用意し、作品ごとに割り当てるという運用方法だった。

　「あらかじめボリュームサイズが決まっていたので、作品によっては製作中に容量が足りなくなったり、逆に想定したほど容量を使わず空き容量が無駄になったりと、運用は大変でした」（山下氏）

　ちなみにこの時期、テレビアニメ「プリキュア」シリーズの番組エンディングとして初めて3D CGのダンスシーンが取り入れられたが（2009年～2010年放映「フレッシュプリキュア！」）、そのCG製作を支えたのはこのストレージだったという。

　前世代機のリース終了に合わせ、2009年～2012年には「HP EVA6400」を導入した。総容量は44TBとさらに拡大したが、一方で「もはやFibre Channel HDDでなくてもよいのではないか」「週次テープバックアップは不要なのではないか」と、技術の世代変化も実感するようになっていた。

　「Fibre Channelとニアライン（FATA）のHDDを半分ずつという構成にしたのですが、すでにネットワークのほうがボトルネックになっており、HDDのパフォーマンス差は体感できませんでした。また、容量が44TBもあるとテープバックアップ処理に1週間かかり、なおかつテープから戻す（リストアする）ことがほとんどなかったので、ちょうどWindows Storage Serverに追加されたスナップショットの機能でいいよね、という話になりました」（山下氏）

劇場版フル3D CGアニメ「聖闘士星矢」製作を契機にIsilon NASへ乗り換え

　同機が2012年にリース終了を迎えた際にはもうひとつ、「まだWindows Server＋SANストレージという構成を選ぶのか？」という検討課題も持ち上がった。この構成だと、ストレージヘッド、SANスイッチ、ストレージコントローラー、エンクロージャー、HDDと構成要素が多くなり、障害発生要因が増えてしまう。加えて、障害が発生した場合の原因特定も複雑になりがちだ。

　そこで「なるべくシンプルにしたい」という結論に至り、2012年からはNASアプライアンスを利用することになった。まず2012年～2015年は「Isilon X200」と「IBM N3240（NetAppのOEM製品）」という2種類のNASを導入した。導入当時、すでに劇場版のフル3D CGアニメ作品「聖闘士星矢 LEGEND of SANCTUARY」を製作することが決まっており、Isilonはこの作品専用のファイルサーバーとして導入したという。

　「90分のフルCGアニメ作品の製作だったので、ストレージ容量が絶対に足りなくなることはわかっていました。そこで、ワンボリュームで構築できるIsilonを選び、最初に5ノードを導入し、運用上問題ないことを確認したうえで5ノードを追加しました。総容量は160TBになりましたが、最終的にはほぼ聖闘士星矢で使い切りました」（山下氏）

　劇場用作品の製作を乗り切ったことで、次のリプレースもIsilonで良いだろうという判断となった。2015年～2019年は、Isilon X200にニアラインモデルのIsilon NL410を追加し、総容量820TBの構成とした。IsilonのNASに一本化したことで、すべての作品データを1つのボリュームで管理する「念願のワンボリューム運用」が実現できた。

　「3D CGの製作ファイルは、1つのシーンファイルから3Dモデルのファイル、アニメーションのファイルなど、いくつものファイルがツリー状にリンクする形になっています。そのため、ファイルのネットワークパスが変わるとリンクが切れてしまい、作業者が全部直さなければなりません。複数のボリュームで運用し、容量が足りなくなったから別のボリュームに移すというのは、実はそう簡単な話ではありません」（山下氏）

　そして2019年5月に、現在のIsilon H500とA200というファイルサーバー構成に移行した（記事冒頭スライドを参照）。

　山下氏は、10GbEインタフェース対応でネットワークパフォーマンスが大幅向上したこと、また前世代比で本体サイズが半分以下になったが容量は2倍近くに増えたことなど、移行による大きなメリットを感じていると語る。ネットワークのピーク性能は実測値で約7倍に向上しており、合計400台のワークステーションとレンダーサーバーが一斉にアクセスしても速度低下しにくい環境が実現したという。

Isilon NASを3世代にわたって使い続ける理由は「製作を止めないため」

　このとおり、東映アニメーション デジタル映像部ではおよそ10年間、3世代にわたってIsilonを利用してきた。Isilonを使い続ける大きな理由は、新しい世代のストレージにデータを移行する際に現場の製作業務を止めなくてよいからだと、山下氏は説明する。

　たとえば2019年のリプレースを実施した際も、3D CGの製作現場ではちょうどNetflix配信作品「聖闘士星矢：Knights of the Zodiac」の製作まっただ中だったという。「現場からは『サーバーを1日たりとも止めるな、止めたら作品が間に合わなくなる』と言われました」（山下氏）。

　それ以前のリプレース作業では、現場が利用する旧環境をそのまま稼働させつつ、新環境も並行稼働させて、膨大なデータを夜間や休日に少しずつ新環境へとコピーしていた。この移行期間（およそ3カ月間）は新旧環境の“二重投資”が生じるほか、製作進行中の作品では常にデータが書き換わるため、そのつど繰り返し同期する必要があった。そして、最終的にすべてのデータを完全同期させるため、やはり丸一日程度は製作業務を止めてもらう必要があった。

　「すべての作品スケジュールとすりあわせながら移行最終日を決め、現場には『この日は絶対に会社に来ないで！』とお願いしていました。この最終日で最終同期を済ませて旧環境を落としたいのですが、いざその日になると、前日に大量のファイルが更新されていて同期が終わらなかったり、レンダリング処理がまだ続いていたり、来ないでと言ったのに出社して作業している人がいたり……（苦笑）。ほかにも、ワークステーション側のネットワークドライブを設定変更するバッチがうまく動かず、設定を1台ずつ見て回ったこともあります。移行完了後も数日間は“サポート警戒態勢”を解けませんし、とにかく移行は大変な作業でした」（山下氏）

　これが、Isilon－Isilon間の移行だとほぼ無停止で移行できる。前世代から現在のIsilon環境へのデータ移行（約1ペタバイト）には1カ月半ほどかかったものの、フロントのユーザーネットワークとは独立したInfiniBandを経由してデータをコピーする仕組みのため、その間の製作作業には影響を与えなかった。さらに、新環境でも同じサーバー名を使えるので、パスやネットワークドライブの変更もない。

　「実際は旧ノードのOSアップグレードのために数時間止める必要があったのですが、影響はそれだけで済みました。製作現場のユーザーも『あれ、変わったんですか？』と言うくらい、本当に気づかれないうちに移行が終わりました」（山下氏）

　ちなみに山下氏は、経営層の納得を得るために他社NAS製品も含めたパフォーマンステストを実施し、パフォーマンス的にもIsilonが最速であり、現場ユーザーにとっても快適な環境になるという説明を行ったという。

今後の大きな課題は「億単位のファイルをどうハンドリングするか」

　デジタル映像部のファイルサーバーは、この10年間で総容量が60倍以上（23TB→1.5PB）に拡大し、そこに保存しているファイル数も約30倍（820万→2億3000万）に増加している。山下氏は「ファイルサーバーの容量だけ積めば（拡張すれば）いいわけではない」と語り、現在は特に、数億単位になったファイルをハンドリングできるだけのパフォーマンスがファイルサーバーの大きな課題になっていると説明する。

　「（ファイル数が膨大なため）たとえば、この作品（製作フォルダ）の容量ってどれくらいだろう？ とWindowsでプロパティを開いても、1時間や2時間では（集計処理が）終わらないレベルです。また、製作が進むにつれて、新たなスタッフに作品フォルダへのアクセス権を割り当てることがあるのですが、これも直にやるのは時間がかかり、ほぼ無理な状態です」（山下氏）

　ファイル数が増えるにつれて、それをオープン／クローズする回数も増え、コピーや移動の処理も遅くなっていく。また、製作が終わった作品のデータをバックアップするのにも長い時間がかかる。加えて、CGツールが自動生成するデータも多く、ファイルどうしの関係や構成も複雑なため、個々のデータについて要／不要を判断するのも難しくなっているという。このように、ストレージのパフォーマンスは「管理者とユーザーの双方に影響が大きい」という。

　またアニメ製作全体のデジタル化が急速に進んでいることも、今後さまざまな課題を生みそうだ。たとえば、これまで手描きした紙をスキャンしていたアニメが直接デジタルで描かれるようになると、紙ベース／手作業で整理／管理していたワークフローも変化せざるを得ない。また続編製作やリマスターなどを行う場合に、バックアップから過去の製作データを取り出せたほうがよいが、膨大なバックアップから目的のデータを探し出すのも人手では難しくなっている。他方でクラウドストレージの活用も検討しているが、コストやセキュリティ、アクセススピードといった面ではまだ課題があると説明した。

Isilonが放送業界へのテクノロジー貢献で「技術・工学 エミー賞」を受賞

　記者説明会に出席したDell Technologies側からは、2009年のDell EMCによる買収以後、Isilonのビジネス規模は9年間で8倍に成長しており、さらに今後2年間で1.5倍の成長を見込んでいることが紹介された。その大きな原動力と目されるのが企業におけるビッグデータ活用、そしてメディア＆エンターテインメント業界でのIsilon採用である。

　Dell Technologiesでは同日、Dell EMC Isilonが米国のNATAS（National Academy of Television Arts and Sciences）から、テクノロジー＆エンジニアリング エミー賞を初めて授与されたことを発表した。放送業界において増大するデジタルデータの課題を、スケールアウトNASというソリューションで解決してきた功績によるものだ。