データブリックス、「データとAIの民主化」をさらに加速させる4つの革新的な新機能を発表
Ｄａｔａｂｒｉｃｋｓ Ｊａｐａｎ株式会社
サンフランシスコ - 2021年5月27日 — 「データとAIの民主化」を推進するDatabricks 社（本社：米国カリフォルニア州サンフランシスコ、以下：データブリックス）は、5月24日から28日まで開催された年次イベント「Data + AI Summit（旧Spark + AI Summit）」において、4つの革新的な新機能「Delta Sharing」 「Delta Live Tables」 「Unity Catalog」 「Databricks Machine Learning」を発表しました。
Data + AI Summitは、データコミュニティのためのグローバルイベントで、データブリックスのレイクハウス・プラットフォームの新機能を発表するとともに、160カ国以上から数万人ものデータチームが集まり、ベストプラクティスの共有や、業界エキスパートから最新の知見を広く提供していただきました。今年のData + AI Summitのテーマは「The Future is Open」で、オープンソースコミュニティへの継続的なコミットメントと、オープンでコラボレーティブなデータエコシステムをさらに可能にする新機能のイノベーションを表現しています。
Data + AI Summitで発表された4つの新しいデータブリックスの機能
Delta Sharing: 「Delta Sharing」 は、データが存在するプラットフォームとは完全に独立して、組織間でデータを安全にリアルタイムで共有するための、世界初のオープンプロトコルです。「Delta Sharing」は、オープンソースのDelta Lakeプロジェクトに含まれており、Nasdaq、ICE、S&P、Precisely、Factset、Foursquare、SafeGraphなどのデータプロバイダーや、Amazon Web Services（AWS）、Google Cloud、Tableauなどのソフトウェアベンダーがサポートしています。これは、Apache Spark、Delta Lake、MLflow、Koalasに続く、データブリックスが立ち上げた5番目の主要なオープンソースプロジェクトであり、Linux Foundationに寄贈しています。
Delta Live Tables: アナリティクスや機械学習に使用する際に、データがクリーンで一貫性のあるものになるように、Delta Lake上でETL（抽出、変換、ロード機能）を簡単かつ信頼性の高いものにするクラウドサービスです。信頼性の高いデータパイプラインでレイクハウスの基盤を構築します。
Unity Catalog: 複数のクラウドプラットフォームにおけるデータとAIのシンプルなガバナンスを提供します。「Unity Catalog」は、データブリックスが今回発表した安全なデータ共有のための新しいオープンソースプロトコル「Delta Sharing」によって支えられています。これにより、企業は「Unity Catalog」を使用して、ビジネスパートナーとの安全なデータ共有やデータ交換も管理することができるとともに、オープンなレイクハウスプラットフォームが提供する柔軟性をさらに強調することができます。
Databricks Machine Learning: 業界をリードする機械学習（ML）製品の最新世代です。「Databricks Machine Learning」では、データブリックスのレイクハウス・プラットフォームの新規、および既存のML機能がコラボレーティブな専用エクスペリエンスに統合されており、実験から本番までのMLモデルの構築、トレーニング、デプロイ、管理に必要なすべての機能をMLエンジニアに提供し、データとMLのライフサイクル全体を独自に組み合わせています。これには2つの新機能が含まれています。データブリックスのAutoMLは、データサイエンティストが手作業で行っていた面倒なステップをすべて自動化することで、機械学習プロセスを強化するとともに、十分な制御性と透明性を確保します。また、データブリックスのFeature Storeは、企業のデータエンジニアリング・プラットフォームに統合されたシステムで、モデル機能の発見性、再利用、ガバナンスを向上させます。
データブリックスの共同創業者兼CEOのアリ・ゴディシは次のように述べています。
「今年のData + AI Summitに世界のデータコミュニティを迎えることができ、大変嬉しく思っています。私たちは共に、データとAIで世界の難問に取り組むという共通の使命を持っています。そして今年は、そのミッションを達成するために、オープンテクノロジーと最新のデータアーキテクチャが果たすことのできる重要な役割について、積極的に取り組んでいきたいと考えています」
また、ご参考までに下記もご参照ください。
●Delta Sharing、Delta Lakeオープンソースコミュニティへの参加： https://delta.io/sharing
●Delta Live Tables (現在プレビューいただけます): https://databricks.com/p/product-delta-live-tables
●Unityカタログ： https://databricks.com/unity
●Databricks Machine Learning（現在、Databricksのお客様向けにパブリックプレビュー中）：
https://databricks.com/blog/2021/05/27/introducing-databricks-machine-learning-a-data-native-collaborative-full-ml-lifecycle-solution.html
データブリックス・ジャパン株式会社について
データブリックスは、グローバルで唯一のデータ＆AI企業です。Comcast、Condé Nast、Nationwide 、そしてH&M といった5,000以上の世界のリーディング企業が、データブリックスが提供するオープン、且つ統合されたプラットフォームを活用し、データエンジニアリング、機械学習、アナリティクスなどのデータプロジェクトに取り組んでいます。データブリックスは多くのベンチャーキャピタルから支援を受け、米国サンフランシスコに本社を構え、世界中に営業拠点を有しているグローバル企業です。Apache Spark™、Delta Lake、MLflowのクリエーターによって創立され、企業のデータチームが抱える、世界の最も困難な課題を解決するサポートをしています。その他のデータブリックスの詳細に関しては、Twitter、LinkedIn、Facebookをフォローしてください。
Twitter：https://twitter.com/databricksjp
LinkedIn：https://www.linkedin.com/company/databricks
Facebook：https://www.facebook.com/databricksinc
データブリックス・ジャパン株式会社についての詳細:
ホームページ: https://databricks.com/jp/
所在地 ：東京都港区六本木1丁目4-5 アークヒルズサウスタワー16階
事業内容：データ&AI向け統合データ分析プラットフォームの提供
代表者：データブリックス・ジャパン株式会社 社長 竹内 賢佑