このページの本文へ

Hadoopのエンタープライズ導入を強力プッシュ!

EMC IsilonがHadoopのHDFSをネイティブサポートした意義

2012年03月01日 06時00分更新

文● 大谷イビサ/TECH.ASCII.jp

  • この記事をはてなブックマークに追加
  • 本文印刷

2月29日、EMCジャパンはスケールアウトNAS製品のEMC Isilonにおいて、Hadoopのファイルシステムである「HDFS(Hadoop Distributed File System)」をネイティブサポートした。発表会では、EMCジャパン アイシロン事業本部 江尾浩昌氏や米国のIsilonチームが製品の概要を説明した。

HDFSサポートで対象データを直接格納可能

 オープンソースのHadoopフレームワークは、ビッグデータの分散処理において多用されているが、独自のファイルシステムを採用するため、既存システムと別にシステム構築されることが多い。「従来はNASに格納されたデータを、別途Hadoop環境のHDFSストレージにコピーしした上で、分析を行なっていた」(江尾氏)。今回のIsilonのHDFSネイティブ対応により、Isilonストレージに対象となるデータを格納し、MapReduceから直接分析処理を行なえるようになる。

HDFS対応のIsilonでデータを直接格納できる

 続いて、米EMC Isilonストレージ部門のマーケティング担当副社長 サム・グロコット氏、製品管理ディレクター ニック・カーシュ氏は、電話会議システムでビッグデータの課題や製品の詳細について説明した。グロコット氏は、「現状はYahoo!やGoogle、FacebookなどがHadoopのアーリアダプターだが、今後は企業のITシステムが利用することになる」と述べ、ビッグデータでのHadoop活用がより市民権を得てくると説明した。しかし、Hadoopのエンタープライズ導入においては、いくつもの技術的な課題があるという。

 カーシュ氏は、サーバーに直接接続されるDAS型のストレージと比べた課題として、「ストレージインフラがHadoop専用になるので、運用やバックアップが独自だ。また、ネームノード自体が単一障害点になるほか、エンタープライズレベルのデータ保護などがない」などの課題がある。その他、同氏は「3面ミラー」でデータ保護するため、ストレージ利用が非効率なほか、ストレージと計算リソースが切り離せない、インポートやエクスポートが手動であるといった課題も挙げた。

カーシュ氏が挙げたDAS環境のHadoopストレージの課題

 今回のIsilonのHDFS対応では、これらの技術的な課題が解決されるという。まずストレージをIsilonに統合することで、既存のアプリケーションと同居できるほか、単一障害点となるネームノードを論理的に分散できる。また、SnapshotIQやSyncIQ、NDMPバックアップなど、Isilonのリッチなデータ保護機能が利用できるほか、NFS/CIFS/FTP/HTTPなど幅広いプロトコルをサポートしているのも魅力となる。さらに、ストレージと計算リソースを別々に拡張できるほか、「Hadoopに格納されているデータを、コピーしないで、その他のプロトコルから直接読み出せる」(カーシュ氏)という。

 対応はオープンソースのApache Hadoopのほか、EMCのApache Hadoop実装であるGreenplum HDもサポートの予定。Isionの最新OS「OneFS 6.5」で利用できる。

■関連サイト

カテゴリートップへ