新市場になってないビッグデータとIoT。日本にあったデータ分析の姿は？
神林節炸裂！Asakusa Frameworkは「分散」から「並列」へ
2015年12月01日 07時00分更新
8時間のバッチが1分を切る！新しいAsakusa Framework
Fixstarsと共同開発している新エンジンは従来のJavaを捨て、性能重視のC++で実装。「コア・メモリを物理的に使い切ることが目標。理論上、世界で一番速いです」（神林氏）とのことで、試験ではすでにSparkの5～10倍の速度を実現しているという。8時間かかっていたヘビーなSQLのバッチ処理をHadoop化で20分、Sparkで5分にまで短縮。新エンジンではさらに1分を切るレベルにまで高速化した。
8時間かかっていたヘビーなSQLは新エンジンで1分を切るという
RSA前提に単ノードでの性能を追求すれば、RDMAで他ノードのデータを読み書きできるため、拡張も容易になる。1ノードで投資も抑えられ、スモールスタートも実現するという。もちろん、1ノードであれば、エッジのプリプロセッサーとしても最適で、データセンターに対しては事前処理後の必要なデータのみ転送できる。
さらに既存のAsakusa Frameworkでの投資可搬性も考慮している。「今までAsakusaで書いたコードはすべて例外なく新しいエンジンで動きます。小さいデータが大きくなっても、テストから本番に移行する際も、書き換えなくHadoop/Sparkに移行できます。開発を1回やれば、いろんなスケールに対応できる。規模の調整はAsakusaがやります」と神林氏はアピールする。Asakusa Frameworkの新エンジンは12月にα版をリリースし、2016年4月にOSSで公開する予定となっている。
Asakusaで書いたアプリケーションはそのまま動く
日本のITライフサイクルは長い。劇的には変わらない
現実主義者の神林氏は、日本とグローバルのIT産業の違いやライフサイクルについて語り、キーワードに踊らされがちな昨今のIT市場に警鐘を鳴らす。
「若い僕がユーザーの情報システムだったとき、1990年代に開発したアプリケーションで2000年対策してないなんてありえない、手抜き工事だと批判した。そのとき、10年後は神林さんが同じコト言われるよと言われたけど、10年経ってうん、そうだねと納得している。とりあえずパッチで逃げるかとなってしまう。日本のアプリケーションは手組みも多いし、まだ15年あるなと思っても、結局15年動いちゃうんですよ」
「ずっと日本と世界のIT産業はライフサイクルはあわないと言ってきた。でも、合わないからよくないとか、言ってもしょうがないし、世界と合わせろという立場でもない。そんなのは大手SIerやマスコミさんにお願いする。僕らはその摩擦を避けるようにするのが役回り」
「システムで世界は変わらないですよ。当たり前ですけど。なんかみなさんの食ってるものとか、生活変わりました？ ビッグデータやIoTで劇的に世界を変えたいというのもわかりますけど、人間は習慣の生き物なのでそんなに変わらない。会社も1人の人で動いているわけではない。それは仕方がないので、徐々に間を詰めながらやっていくしかないですよ」
