Icebergを巡る攻防、Snowflakeは「Poralis Catalog」発表、DatabricksはTabular買収

SnowflakeとDatabricks、サンフランシスコで火花を散らす ―現地レポート

2024年06月10日 08時00分更新

文● 末岡洋子　編集● 大塚／TECH.ASCII.jp

Snowflakeは2024年6月3日からの4日間、サンフランシスコで「Snowflake Data Cloud Summit 2024」を開催

　米国では、競合するハイテク企業どうしがライバル心をあらわにすることも少なくない。その最新の事例が、データプラットフォーム製品を提供するSnowflake（スノーフレイク）とDatabricks（データブリックス）だ。

　今回は、6月のサンフランシスコを舞台に2社が激しく火花を散らしている模様をレポートしたい。

Snowflake Data Cloud Summitの会場近くはイベント告知のバナーであふれるが、Databricksも負けじとアピールしていた

　まずは2社のプロフィールから紹介しよう。

　Snowflakeは、元Oracleのエンジニアたちが2012年に創業した、カリフォルニア州サンマテオに本拠地を置くデータクラウドベンダーだ。2020年のIPOでは34億ドルを調達し、当時は「ソフトウェア企業で最も成功したIPO」と言われた。対するDatabricksは、「Apache Spark」や「Delta Lake」といったオープンソースプロジェクトの創始者らが中心となり、2013年に創業したデータプラットフォームベンダー。本拠地はカリフォルニア州サンフランシスコにある。

　両社は「データ」と「AI」という、現在最も注目される領域のプロダクトを提供する点で共通している。Snowflakeは自社を「AI Data Cloudカンパニー」と称し、対するDatabricksは「Data and AIカンパニー」をうたっている。

　この2社の間で何が起こっているのか。その中心にあるのは「Apahe Iceberg」だ。Icebergはオープンソースのテーブルフォーマットであり、データレイク／レイクハウス環境において多く活用されている。

　このIcebergを巡って、2社がそれぞれ大きな動きを見せているのだ。

両社が火花を散らす原因は「Apahe Iceberg」（https://iceberg.apache.org/）

　まず“先手”を打ったのはSnowflakeだ。

　Snowflakeは6月3日からの4日間、年次イベント「Snowflake Data Cloud Summit」をサンフランシスコのモスコーニセンターで開催したが、イベント初日、同社はIceberg対応のデータカタログ「Polaris Catalog」を発表した。

　Snowflakeでは2022年から、外部データ機能「Iceberg Tables」を通じてIcebergをサポートしてきた。今回、Iceberg Tablesをすべての主要クラウドで一般提供開始したことにくわえて、新たにIceberg形式のインデックスができるカタログとしてPolaris Catalogを発表した。90日以内にオープンソース化するという。

SnowflakeはIceberg対応データカタログ「Poralis Catalog」を発表

　Poralis CatalogではIcebergのRESTプロトコルを用いており、同プロトコルに対応するエンジンからアクセスが可能だ。2日目の基調講演でPoralis Catalogについて説明したSnowflake 製品担当EVPのクリスチャン・クライナーマン氏は、相互運用性を実現した主要ベンダーのロゴが並ぶスライドを示しながら、「1社、社名がないようだが？」と苦笑してみせた。

Iceberg形式のデータをカタログ化し、多様なエンジンからのアクセスを可能にする

対応エンジンを提供する主要ベンダーのリスト

　こうしたSnowflakeの“挑発”を知ってか知らずか、“後手”のDatabricksも大きな動きを見せる。

　Databricksでは、データレイク／レイクハウス環境におけるデフォルトのデータ形式として「Delta Lake」を採用している。こちらも2019年にLinux Foudationへ開発が移管され、現在はオープンソースプロジェクトになっている。さらに2023年には、Delta LakeとIcebergの相互運用性を実現することを目的として「Delta Universal Format（UniForm）」を発表した。

　SnowflakeがPolaris Catalogを発表した翌日、DatabricksはTabularの買収合意を発表した。Tabularは、自らを「Apache Icebergの創始者らが開発するストレージプラットフォーム」と紹介する企業であり、現在もIcebergプロジェクトのプロジェクト管理コミッティ（PMC）会長を務めるブルー氏、ウィーク氏らが立ち上げた。

　買収金額は非公開だが、DatabricksはWall Street Journal紙の取材に対して「10億ドルから20億ドルの間」と回答している。7月末に見込まれる買収完了後、およそ40人のTabular社員はDatabricksに加わる予定だという。

　Databricksの共同創業者でCEOを務めるアリ・ゴディシ氏は、買収発表の中で「残念ながらレイクハウスのパラダイムは、Delta LakeとIcebergという2つのフォーマットに分断されているのが現状だ」と述べたうえで、Tabularの買収を通じて両フォーマットのリーダーがDatabricksにそろうことになるとアピールしている。

　それでは、こうしたDatabricksの動きをSnowflakeはどう見ているのか。

　Data Cloud Summitの会場でSnowflakeのクライナーマン氏に、DatabricksによるTabular買収についてコメントを求めたところ、「皮肉な動きだ」と述べた。

　「Snowflake（のプロダクト）は、クラウド事業者（AWS、Azure、Google Cloudなど）と競合する部分もある。それでも『顧客のデータがプロプライエタリなデータカタログに縛られるのはよくない』という思いは共通であり、Poralis Catalogでは“握手”をした。しかし（DatabricksによるTabular買収は）これと正反対の動きだ」（クライナーマン氏）

Snowflake 製品担当EVOのクリスチャン・クライナーマン（Christian Kleinerman）氏

　ちなみに、Snowflakeの展示会場ではTabularも小さなブースを構えていた。そこにいた社員にコメントを求めると「買収は良いことだ」とだけ述べた。ただし、関係者によると、今回のSnowflakeイベントでTabularは講演セッションを予定していたが、セッション当日にスピーカーが現れず、結局キャンセルになったという。

展示会場にあったTabularのブース

　SnowflakeのData Cloud Summitは6月6日に終了したが、翌週の6月10日から同じモスコーニセンターにおいて、今度はDatabricksが「Data+AI Summit」を開催する。ちなみに昨年の両社は、まったく同じ週にそれぞれサンフランシスコとラスベガスで年次イベントを開催して、それも話題となった。