Linux Foundation、Delta Lakeプロジェクトをホストへ ー データレイクのオープンスタンダードを目指す

The Linux Foundation Japan
コミュニティ活動の高まりがオープンソースへの関わりを証明し、データ主導の取り組みに関する業界全体での革新を促進

オープンソースを通じた大規模イノベーションの実現に取り組む非営利団体である Linux Foundation は 10月16日 (現地時間)、データレイクの信頼性、品質、パフォーマンスの向上に焦点を当てたプロジェクト Delta Lake をホストすることを発表しました。


2019年10月16日 アムステルダム / サンフランシスコ発 ー オープンソースを通じた大規模イノベーションの実現に取り組む非営利団体である Linux Foundation ( https://www.linuxfoundation.jp/ ) は、データレイクの信頼性、品質、パフォーマンスの向上に焦点を当てたプロジェクト Delta Lake ( https://delta.io/ ) をホストすることを発表しました。今年4月、Databricksによって発表されたDelta Lakeは ( https://databricks.com/company/newsroom/press-releases/databricks-open-sources-delta-lake-for-data-lake-reliability ) 、数千の組織に採用され、Intel、Alibaba、Booz Allen Hamilton などによる支援者のエコシステムが成長しつつあります。採用と協力をさらに推進するために、Delta Lake はLinux Foundation のプロジェクトとしてオープン管理モデルを活用することになりました。

すべての組織は、データ サイエンス、機械学習、分析を通じてデータからより多くの価値を引き出すことを求めていますが、そこにはデータレイク内のデータが信頼性に欠けるという大きな壁があります。Delta Lake は、トランザクションを ACID 準拠にし、読み書きの同時実行を可能にすることで、データの信頼性という問題に対処します。そのスキーマ適用機能により、データレイクに不備や非準拠データがないことが保証されます。2017年10月の公開以来、Delta Lake は 4,000 を超える組織に採用され、毎月 2 エクサバイト以上を処理しています。

Linux Foundation の戦略プログラム担当バイス プレジデントの Michael Dolan は、次のように述べています。
「Delta Lake の本拠地を Linux Foundation という中立的な場所にすることで、このプロジェクトに依存しているオープンソース コミュニティはオンプレミスとクラウドのどちらに関しても、ビッグ データの保存と処理の方法を扱う技術を開発しやすくなります。Linux Foundation は、オープンソース コミュニティがオープン管理モデルを活用することで、業界として幅広く貢献し、合意形成できるように支援します。これは、データの保管および信頼性に関する最新技術の進歩に寄与するはずです。」

Databricksの共同創立者たちは、大規模データ処理の事実上の標準となった統合分析エンジンであるオープンソースの Apache Spark プロジェクトを最初に生み出したメンバーです。Databricks の CEO で共同創立者である Ali Ghodsi 氏は、Delta Lakeプロジェクトで再度この取り組みを進めることの喜びを次のように述べています。
「私たちのチームは、オープンソース プロジェクトを立ち上げ、そこへの貢献を続けてきています。それが革新に向かう最も速く包括的な道だからです。組織におけるデータに関する課題に対処するために、私たちはこのプロジェクトを本当の意味でのオープンソースにしたいと考えています。Linux Foundation の強力なコミュニティと貢献により、Delta Lake がすぐにデータレイクへのデータ保存の標準になると確信しています。」

Delta Lake は、参加と技術コントリビューション を促すオープンガバナンスモデルを備え、Delta Lake の成功のために利用されているエコシステムによる長期的な運営のフレームワークが用意される予定です。

Delta Lakeは当初、Apache Sparkと連携するように設計されていましたが、コミュニティが発展して他のオープンソース データ システムのサポートが追加されつつあります。

支援の声 (原文)

“As a major cloud provider, Alibaba has been a leader, contributor, consumer, and supporter for various open source initiatives, especially in the big data and AI area. We have been working with Databricks on a native Hive connector for Delta Lake on the open source front, and we are thrilled to see the project joining the Linux Foundation. We will continue to foster and contribute to the open source community.”

– Yangqing Jia, VP of Big Data / AI at Alibaba

“Intel and Databricks have a long history of working together to advance Apache Spark technology with innovative data analytics and AI solutions and to enable enterprise readiness. Databricks Delta Lake contribution to the Linux Foundation is an important open source storage technology that can help the ecosystem improve reliability for data lakes. We look forward to joining in the Delta Lake project and continuing our collaboration with Databricks and the Apache community.”

– Wei Li, Vice President, Intel Architecture, Graphics and Software and General Manager, Machine Learning Performance

“The Starburst team is excited about the development of Delta Lake and have already developed a native connector for Presto that is currently in beta testing. We believe this will enable companies creating or migrating their data lakes to the cloud the ability to finally realize the value that they were prom ised years ago and perform interactive SQL analytics on data lakes directly.”

– Justin Borgman, CEO, Starburst

“Booz Allen Hamilton is very excited about the potential of Delta Lake technology, especially its promise to provide an open, scalable data platform to enable a broad range of analytics – SQL analytics that powers reporting and dashboarding to data science and machine learning with R & Python. We are looking forward to making significant contributions to the Delta Lake project. We are starting with native integrations of Apache Nifi with Delta Lake.”

– Dan Tucker, VP at Booz Allen Hamilton

詳細については、Delta.io をご覧いただくか、Twitter の @DeltaLakeOSS をフォローしてください。

Linux Foundationについて

2000年に設立されたLinux Foundationは、1,000を超えるメンバーによってサポートされており、オープンソース ソフトウェア、オープン スタンダード、オープン データ、およびオープン ハードウェアに関するコラボレーションにおいて世界をリードしています。Linux、Kubernetes、Node.jsをはじめとするLinux Foundationのプロジェクトは、世界のインフラに必要不可欠な存在です。Linux Foundationは、ベスト プラクティスを活用し、貢献者、ユーザー、およびソリューション プロバイダーのニーズに対応することにより、サステナブルなオープン コラボレーション モデルを生み出します。詳細については、www.linuxfoundation.org をご覧ください。

###

The Linux Foundation はさまざまな商標を登録および使用しています。The Linux Foundation の商標一覧はこちらのページ ( https://www.linuxfoundation.jp/trademark-usage/ ) でご確認いただけます。
Linux は Linus Torvalds の登録商標です。