富士通は9月24日、スパコン技術の活用によってビッグデータ分析を30倍高速化したと発表した。
ビッグデータ分析サービス「FUJITSU Intelligent Data Service データキュレーションサービス」（以下、データキュレーションサービス）の分析基盤において、スパコンの開発・提供を通じて培ったHPC（ハイパーフォマンスコンピューティング）技術を用いることで、TB以上の超大規模データの分析処理時間を従来比30倍にした。
超大規模データの分析処理時間比較
近年、分析データは増大・多様化しており、例えば数千万から数億人規模の顧客を対象とする大規模分析の場合、ハイスペックなサーバーを用いても膨大な時間が必要になる。
そのため、多くの分析プロジェクトでは、一部のデータを抽出して分析するなどで対処しているが、One-to-Oneマーケティングや工場プラントの異常検知などは、膨大なデータ全体を分析対象とする必要があるため、分析基盤の高速化が求められていたという。
日本の全人口に対する超大規模な疾病予測も可能に
今回の新技術では、例えば、数千個の属性データを持つ数百人分の顧客データに対する分析を、従来の1週間から数時間に短縮できる。
また、企業の全商品カテゴリ、線顧客に対するセグメンテーション、複数のIoT機器から送信される数千～数万種類のセンシングデータを束ねた分析、日本の全人口（約1.27億人）に対する超大規模な疾病予測なども可能という。
HPCクラスタで1000コアを超えるCPU並列処理
技術概要としては、データキュレーションサービス用に自社データセンター内にビッグデータ分析占用のHPCクラスタを構築。このクラスタは複数のPCサーバー「PRIMERGY」を高速インターコネクトで接続したもので、専用の並列処理ライブラリを適用することにより、1000コアを超えるCPUの並列処理が可能。今回、ハードウェアとソフトウェア両面の強化によって、従来比約30倍の高速化を実現したとしている。
また、豊富なOSS（R／Rubyで書かれたアプリ、Hadoop、Spark、DeepLearning系フレームワークなど）の大きな変更なしに運用できる汎用性も特長とのこと。
富士通のキュレーターによる分析サービスとして提供
データキュレーションサービスは、富士通のキュレーターがデータを分析し、標準8週間でデータ活用モデルを作成するもので、2012年4月から提供している。データそのものに着目し、業種・業態に制限されないため、多様なお客様のさまざまな課題に対して、サービス提供が可能とのことで、今回の新技術により、さらに大規模なデータ分析に対応した形だ。
