自社ロジックを活かしつつ、大容量のデータを分析

SVI研究所とgrasysがGoogle Cloudで構築した人流ビッグデータ解析システム

文●大谷イビサ 編集●ASCII 写真●grasys

  • この記事をはてなブックマークに追加
  • 本文印刷

 人流データを解析し、都市交通の観点からインサイトを抽出するSVI研究所。競争力となる同社ならではのロジックを活かしつつ、未曾有のビッグデータを扱うために選んだのがGoogle Cloudになる。選定の背景やインフラやWebインターフェイスを開発したgrasysとのプロジェクトについて聞いた。

人流データ解析技術を活かしたサービス提供 データ駆動型の社会へ

 SVI研究所は国土交通省や地方自治体のコンサルティングを手がける福山コンサルタントを中核会社とする上場会社FCHDグループの研究機関である。SVI(Social Value Incubation)という社名の通り、都市・交通工学関連の技術に加えて、AIやIoT等の最新テクノロジーを活用し、社会的価値創造に資する新技術・新事業の創出を目的としている。今回、話を聞いた船本洋司氏と中谷俊文氏は二人とも建設コンサルタントとして経験を積み、約2年前からデータ関連の新規事業を立ち上げ、現在は人流データの解析技術を生かしたプロジェクトをビジネス展開している。

「ジャンルで言うとスマートシティやMaaSなどに代表されるデータ駆動型の社会を目指しています。人流データの解析技術を活かした事業を展開しており、ビッグデータを可視化し、強いエビデンスを武器に、お客さまが日々の仕事をより良い方向に進めるためのツール開発や施策を展開しています」(船本氏)

SVI研究所 新規事業推進室 新規事業チーム 事業開発担当 船本 洋司氏

 SVI研究所の人流データ解析は、マーケティング的な観点より、都市交通的マクロな観点が強い。個人の行動に合わせて広告を出したり、商品をリコメンドするといった施策より、たとえば「コロナ禍において休日に埼玉から東京に出かけた人の動き」を群で捉えるといったアプローチがメインだという。

「たとえば、ある街の活性化を進めたい場合に、いわゆる『にぎわい』みたいなものを可視化するには、私たちのロジックは向いていると思います。クライアントさんからの依頼に基づいて、おもにスマホのGPSデータやカーナビの位置情報を使って、レポートを作成したり、ダッシュボードを構築するという流れです」(中谷氏)

SVI研究所 新規事業推進室 新規事業チーム 事業開発担当 中谷 俊文氏

 今まで業界内の知る人ぞ知るという人流データ解析だったが、コロナ渦での人の動きを把握する可視化手段としてメディアにも頻繁に取り上げられるようになった。「今日の渋谷の人出」といった図表を見たことある読者も多いだろう。しかし、人流データは巨大すぎ、従来同社が手がけてきたツールややり方では処理が難しかった。これが今回の事例につながる課題感だ。

もはやExcelの世界じゃないなと思い始めた5年前

 今回grasysが手がけたのは、ビッグデータを高速に処理するためのクラウド基盤の開発だ。もともとSVI研究所は建設業界向けのコンサルティング会社からスピンアウトしたという出自から、ExcelやVBAでの処理がメインで、データ量も大きくなかったが、人流データは桁が違う。

「ガラケーの時代からGPSデータは扱っていましたが、この5年くらいの動向を考えたら、もはやExcelの世界じゃないなと思っていました。従来のデータはオンプレで集計したときも、数百MB程度、多くて1GBといった容量で、数時間かかるというレベル。でも、人流データの場合、東京だけで1TB超といったレベルなので、数百倍になる。もはや、われわれが従来処理していた量を大きく超えてきています」(中谷氏)

 コストも、時間もかかるビッグデータの処理。ループ処理を多用する同社のロジックを簡素化するという方向もあったが、このロジックこそ同社の強みだった。そのため、これを簡素化するという選択肢はなかったという。今までのロジックをそのまま活かしつつ、ビッグデータの処理ができないかという課題から、クラウドでの基盤構築に行き着いた。

「サンプルデータでは動いていたのですが、弊社のロジックは巨大なデータと相性が悪かった。でも、複雑なロジックを簡素化するよりは、ロジックを残したまま大量データになんとか適用できないかなと考えていました。だから、データ集計や分析するためのユーザーインターフェイスも含めて、インフラをgrasysさんにお願いしました」(船本氏)

データ量、処理時間、コストのバランスの最適化を目指して

 SVI研究所とgrasysとの付き合いは2019年からで、最初はGoogle Cloud Platform(GCP)の導入を検討したことがきっかけだった。パブリッククラウドを選定する中で、複数のクラウドインテグレーターと面接した結果、grasys経由でGoogle Cloudを導入することに決めたという。

「grasysから来てくれた方が技術のわかるエンジニアだったので、まず安心。あと、その方が人流ビッグデータの処理をするためには、こんなアーキテクチャがいいのではないかという一枚絵を描いてくれたのです。最終的にはその形にはならなかったのですが、その一枚絵があったおかげで、こちらもシステムのイメージが沸いたので、Webアプリの部分までgrasysさんにお願いしようと思いました」(船本氏)

 データ解析についてはプロだが、クラウドに関しては未知という状態だった当時のSVI研究所からすると、開発パートナーと共通の言語を持てることが重要。その点、技術を理解したエンジニアと対話できる関係を構築できたのは両者にとってプラスだった。結果、クラウド活用の次のステップとして、前述した自社ロジックをGCPに実装するというデータ解析システムの相談に至ったという。2020年4月のことだ。

 今回のシステム要件は、処理が1日で完了すること、そして妥当なコストであることの大きく二点だった。SVI研究所のやりたいことを伝え、プロトタイプは早々に組み上がったものも、いざ動かしてみるとデータが大きすぎて時間内に終わらない、コストが雪だるま式に膨れ上がってしまうといった事態が起こった。

「たとえばGPSデータの場合、建物に入って滞在すると、同じ位置データが溜まり続けることになります。結果的に同じ場所に1時間滞在したということさえわかればいいので、同じ座標データを溜めることには意味がありません。ですから、こうした分析上は不要となるデータを削減するロジックが入っているのですが、この処理の積み重ねでかえってコストと時間がかかってしまうのです」(船本氏)

 そのため、つねにデータ量とコスト、そして処理にかかる時間の調整が重要だった。grasys側もここまで巨大なデータを扱ったことがなかったので、Google Cloudの仕様を調べながら、手探りで落とし所を探っていった。大量データを扱うとコストがかかってしまうので、いかにコストを上げずに処理を納めるか、試行錯誤の連続だったという。折しも開発がコロナウイルスの自粛期間だったこともあり、SlackやWeb会議でのコミュニケーションをまめに重ねたという。

これからは連携パートナーとしてgrasysと仕掛けていきたい

 時系列で見ると、システムの完成は2020年の9月で、開始からおおむね5ヶ月での完成となった。試行錯誤の結果として、最大1000台程度のVMとPythonプログラムによる並行処理によって、1日で解析を終えられるようになり、大幅なデータ処理時間・コストの縮減によりいくつかのサービス化が実現したという。

「先日、とある自治体の依頼で、コロナ渦に鉄道で移動する人流がどのように変化したかを可視化できるダッシュボード構築を行なったのですが、都内のデータがとにかく巨大だったので、今回のシステムがなかったら難しかったと思います」(中谷氏)

 もちろん、今後もシステムは進化し続ける。現在受けている案件は、商業ビル内でどのような流れでテナントを移動し、どのテナントに人が集まるのかといったデータの解析。都市の人流といったマクロな可視化から、ビルマネジメントや不動産事業の観点でよりミクロな可視化までカバーしていくのがSVI研究所としての展望だ。その点、grasysは渋谷区のスマートシティ化を手がける「一般社団法人渋谷未来デザイン データコンソーシアム」にも参加しており、インフラのみならず、データ活用に関する知見も活かせそうだ。

 今後の方向性について、SVI研究所の二人からは以下のようなコメントをもらった。

「人流データの活用はメディアでも取り上げられるようになったので、説明が省けるようになりました。ただ認知度が上がったとはいえ、有効に活用されていない領域がまだまだあります。人流データの活用用途は本当に多彩なので、今回構築したシステムを軸に、新しい領域を広げていきたいです」(船本氏)

「今後、スマートシティの構想を進めようとすると、建設コンサルティングとしての知見のみならず、システムの構築・運用やデータ解析の能力が求められてきます。その点でも、データ解析ができる弊社と、ITインフラが得意なgrasysさんは相性がいい。今までは受託でお願いしていましたが、今後は連携パートナーとして、いろいろ事業展開していきたいです」(中谷氏)

■関連サイト

過去記事アーカイブ

2021年
03月
04月
05月
06月
07月
08月
09月
2020年
04月
05月
08月
09月
10月
11月
12月
2018年
09月
2017年
06月
2014年
07月