“DWHのパフォーマンス”と“データレイクの経済性”を実現する「レイクハウス」ビジョンを推進

データレイク上でDWH処理を、データブリックス「SQL Analytics」発表

2020年11月16日 07時00分更新

文● 大塚昭彦／TECH.ASCII.jp

　クラウドネイティブな統合分析基盤を提供するデータブリックス（Databricks）は2020年11月13日、データレイク上でデータウェアハウス（DWH）ワークロードの実行を可能にする「SQL Analytics」の提供開始を発表した。これまで“分断”されていたデータレイクとDWHの世界を融合させる“レイクハウス（Lakehouse）”アーキテクチャのビジョンを実現し、さらに前進させていく方針。

「SQL Analytics」のクエリ画面（出典：データブリックスWebサイト）。使い慣れたSQL文やBIツールでデータレイクを探索できる

　データブリックスは、AI／マシンラーニングに特化したデータ分析基盤を提供する“データ＆AI企業”。「Apache Spark」「MLflow」「Delta Lake」などで構成されるオープンソースソフトウェアベースの分析プラットフォームを、パブリッククラウド（AWS、Microsoft Azure）上のマネージドサービスとして提供している。今年9月には日本法人による本格的な国内展開開始も発表した。

　同社が提唱するレイクハウスアーキテクチャは、従来分断されていたデータレイクとDWHを融合させた単一のデータプラットフォームにより、すべてのデータ（構造化／半構造化／非構造化、ストリーミング）、すべてのユースケース（BI／レポーティング、機械学習／ディープラーニングなど）、すべてのユーザー（ビジネスアナリスト、データエンジニア／サイエンティスト、機械学習エンジニアなど）に対応するというビジョンだ。

　レイクハウスアーキテクチャの実現によって、企業内にあるデータのサイロ化を解消し、さまざまなユースケースのためのデータ処理プロセスをシンプル化／省力化するとともに、多様な解析言語への対応（SQL、R、Python、Scala、Java）によって異なる職種のユーザー間コラボレーションも容易にする。さらに単一プラットフォームに格納することで、膨大な量／種類のデータに対するガバナンスも実現できる。

すべてのデータ／ユースケース／ユーザーに対応するレイクハウスアーキテクチャによって、同社ビジョンである「データとAIの民主化」の推進を図る

レイクハウスアーキテクチャは、従来“分断”されていたDWHとデータレイクの世界を融合させたもの

　今回発表されたSQL Analyticsは、顧客の保有する既存のデータレイク（HDFS、AWS S3など）にデータブリックスの「Delta Lake」による抽象化レイヤーを付加し、さらに独自のクエリ実行エンジン「Delta Engine」を用いることで、コピーデータなどを用意することなくデータレイク上のDelta Lakeテーブルに直接クエリを実行し、BIワークフローに求められる分析パフォーマンスを実現するもの。

　このDelta Lakeにより、ACIDトランザクション、バッチ／ストリーミングなどに対応するほか、データのバージョン管理（スナップショット）機能も備え、信頼性が確保される。また、Delta Engineは「Apache Spark」と完全互換のクエリエンジンで、分散並列処理により高速にクエリを完了させる。

データレイクの抽象化レイヤー「Delta Lake」と、分散クエリエンジン「Delta Engine」の概要

　SQL Analyticsは「Tableau」や「Qlik」「Power BI」といった主要BIツール用のコネクタを用意しているため、ユーザーは既存のBIワークフローを統合してデータ分析を実行することができる。またSQLクエリやビジュアライズのWebインタフェースも備えており、BIツールを使っていないアナリストやデータサイエンティスト、開発者でも容易にダッシュボードやレポートを作成できる。