Cloudera、「Innovation Program」など日本におけるデータ活用を牽引する取り組みを発表
LINE、290PBに及ぶビッグデータ基盤でClouderaを採用した理由を語る
2023年04月24日 07時00分更新
Cloudera（クラウデラ）は2023年4月21日、各業界でビッグデータ活用を牽引するトップランナー企業を支援する「Innovation Program」を日本でも導入することを発表した。国内第一号のユーザー企業としてLINEを選出したほか、今後は製造、金融、流通、医薬などの業界にも展開していく予定。
同日開催された記者説明会では、Cloudera 日本法人社長の大澤毅氏が日本におけるビジネス戦略として、今後3年間をかけて日本企業のビッグデータ活用を促進していく方針を明らかにし、その具体的な取り組みのひとつとしてInnovation Programを日本で展開していくことを説明した。
またゲスト出席したLINE グローバルオフィス 最高データ責任者（CDO）のフィゲン・ウルゲン氏は、LINEが「Cloudera Data Platform（CDP）」を用いてオンプレミス構築したおよそ3500ノード／290PBにおよぶ大規模データプラットフォーム“Information Universe”について、CDPを選択した理由や、Clouderaのエンジニアと取り組むさまざまな先端技術の採用などを紹介した。
LINEは、社内活用する大規模データプラットフォーム“Information Unverse”の規模拡大と、Clouderaとの協働について紹介した
Cloudera 社長執行役員の大澤毅氏、LINE 執行役員 Chief Data Officer of Global Officesのフィゲン・ウルゲン（Figen Ulgen）氏
“真の”ハイブリッドデータプラットフォームに求められるもの
Clouderaは、オープンかつオンプレミス／クラウドの混在環境にも一貫したデータ基盤を提供するハイブリッドデータプラットフォームのソフトウェアベンダーだ。グローバルでは4000社以上の顧客企業を抱えるが、特にビッグデータ活用を全社展開している大手企業が顧客の中心であり、自動車、金融、医療、保険、小売、通信など、各業界のグローバルトップ10企業のほとんどがClouderaユーザーである。
自動車産業のトップ10社すべて、金融業界のトップ10のうち9社など、グローバル最大手クラスの企業がClouderaを多く採用している
Clouderaの最高収益責任者（CRO）であるフランク・オデュード氏は、各社の調査データを示しながら、現在の企業CIOが考える最大の経営課題は「効率性」であること、IT投資分野として「データ活用／分析」に注目する企業が最も多いことを示す。そのうえで、企業が望むリアルタイムなデータ活用、全社的なデータインサイト（洞察力）獲得のためには、データファブリック、データレイクハウス、データメッシュの活用が重要になると説明する。
「ClouderaのCDPが提供するのは、そうした要件に対応する“真の”ハイブリッドデータプラットフォームだ。オンプレミスとクラウドの混在環境であっても、データのライフサイクル全体にわたって安全、かつ一貫したエクスペリエンスを提供する。インサイトを得るまでの時間が短縮されるだけでなく、大規模なチームでのデータ活用も可能になるため、企業はデータを通じたイノベーションの実現に進むことができる」（オデュード氏）
ハイブリッド環境において「データの一貫性」と「データガバナンス」の両方を実現できるプラットフォームだとアピールする
Cloudera 最高収益責任者（CRO）のフランク・オデュード氏。
Cloudera 大澤氏は、日本市場におけるビジネス戦略について説明した。日本市場では現在、オンプレミスの大規模導入を中心に80社ほどの顧客企業を抱える。
大澤氏はまず、3年後の目標として「日本企業におけるビッグデータ活用を促進し、変革の波を起こす」という言葉を述べ、その実現のために「各業界のビッグデータ活用を牽引する“キャプテン（Thought Leader）”企業を10社、確立する」と具体的な目標を掲げた。
3年後までに、各業界のビッグデータ活用を牽引する企業を10社確立し、日本企業のビッグデータ活用を促進する目標を掲げる
各業界10社の“キャプテン”企業を確立するために、Clouderaでは3つのテーマで施策を展開していく。
1つめは「Innovation Program（共走）」だ。グローバルで展開するこのプログラムは、Clouderaユーザー企業からビッグデータ活用のトップランナーを選出するもので、日本からは今回初めてLINEが選ばれた。Clouderaからは先進的なデータ技術採用を支援するほか、Cloudera開発部門との直接連携、さらに他のトップランナー企業との連携機会などを提供するという。
2つめは「Hybrid Data Cloud（強壮）」である。国内のコミュニティ（ユーザー会）の活性化、コンサルティング／導入パートナーとの連携によるビッグデータ活用ワークショップの実施などを計画しているという。
最後は「Incubation ＆ Ecosystem（共創）」の取り組みだ。ビッグデータ活用のアイデア創出支援、データ共同利用支援、ユースケース検証の技術支援、共同事業化支援など、幅広い企業を対象にエコシステムを構築していく。大澤氏は、これらに加えて「データ活用ルールの整備などの支援もしていきたい」と語った。
「これら3つ、“共走／強壮／共創”の取り組みを通じて、Clouderaではビッグデータがもっと身近で、当たり前になる世界を目指していく」（大澤氏）
今後展開していく具体的な施策
LINEが「Cloudera Data Platform」を選んだ理由
ゲスト出席したLINE 執行役員 CDOのウルゲン氏は、同社のデータプラットフォーム“Information Universe（IU）”においてClouderaのCDPを採用した経緯について紹介した。
IUは、LINEがオンプレミス環境で構築しているデータプラットフォームだ。データサイエンティストだけでなく、デベロッパー、インフラエンジニア、セキュリティ担当者など、さまざまな社内ユーザーが活用している。
ウルゲン氏は、IUを構築／提供している背景には「データ活用の民主化（Data Democratization）」という考えがあると説明する。
「特にプライバシーデータや機密データの保護に留意しながら、ビジネスニーズを持つすべての人がデータを活用できるようにすることが狙いだ。データを迅速かつ容易に検索し、アクセスできる機能と、データのガバナンスのバランスを取りながら取り組みを進めている」（ウルゲン氏）
LINEではデータプラットフォーム「Information Universe（IU）」を構築し、さまざまな社内ユーザーが活用している
だが、LINEのサービスが拡大し、他方でデータの民主化が進んで社内ユーザーも増えると、データプラットフォームの規模も急拡大することになる。2020年と現在（2023年）のIUの規模を比較すると、ノード数は2倍の3500ノード、データ容量は3倍の290PB、毎日のジョブ数は2.5倍の15万超に及ぶという。
データプラットフォームの規模が急拡大し、開発運用業務が増加しても、それを支えるだけのデータエンジニアの採用は難しい。以前はオープンソースベースで自社開発／運用していたが、2020年からClouderaとパートナーシップを組んで、CDPへの移行を進めた。段階的な移行の結果、2022年4月にCDPへの完全移行を完了した。
CDP採用のメリットについて、ウルゲン氏は「安定稼働」「運用コスト削減」「先端技術の研究開発」という3点を挙げる。
CDP採用についてLINEが考える3つのメリット
「Clouderaのエンジニアが24時間体制で障害対応や技術サポートに当たってくれるので、安定稼働が実現する。また、アップグレード時の検証作業や社内ユーザーの問い合わせ対応もClouderaが業務分担してくれるため、運用工数とコストの削減につながる。そして先端技術を導入する際にも、専門的なスキルやノウハウを持つClouderaエンジニアからの支援を受けることができる」（ウルゲン氏）
先端技術の導入について、LINEでは「Apache Iceberg」「Apache Ozone」などの導入に取り組んでいるという。Icebergについては早期からClouderaと連携をスタートしており、検証中に見つかったバグはClouderaにフィードバックして修正を行い、パッチ適用などを行うという。
LINEとの協働においては、Cloudera製品の枠を超えた技術支援も行っている。その方針について、Clouderaの大澤氏は次のように説明した。
「Clouderaはオープンソースからスタートした会社。また、顧客企業も基本的にオープンソースベースでビッグデータの仕組みを構築している。Clouderaとしては、弊社の製品かどうかという枠にこだわらず、オープンソースのコミュニティを盛り上げるために、あるいは日本のビッグデータを牽引していくために必要なサポートであれば、提供していくつもりだ」（大澤氏）
さらにその一方で、ガバナンスについても共同で継続的な改善に取り組んでいると説明した。
LINEがデータ関連の先端技術やデータガバナンスに取り組む際も、Clouderaのエンジニアが支援しているという
まとめとしてウルゲン氏は、今後もさらにデータの民主化を加速し、先進的な技術を取り入れていく方針であり、それを実現するデータプラットフォームの中核機能としてCDPは重要な役割を果たしており、今後もClouderaとの連携を強めていくと話した。今回発表されたInnovation Programについても、「非常に良いインプットとなり、Clouderaとの協業がより強固なものになると考えている」と語った。
