Icebergテーブル対応によりビッグデータ活用のコストを削減

Snowflake、技術者向けカンファレンスにて生成AI活用を加速させるアップデートを発表

　Snowflakeは、2023年11月9日、11月上旬に米国本社で開催した技術者向けユーザーカンファレンス「Snowday 2023」におけるプロダクトアップデートに関する技術説明会を開催した。

　同イベントでは、データクラウド「Snowflake」の多数の新機能が発表され、説明会では「データ基盤の簡素化」「AI活用の加速」「アプリケーションに合わせたスケーリング」の3つの領域で詳細が語られた。

データ基盤の簡素化 ― ビッグデータ活用のコストを軽減する「Icebergテーブル対応」

　「AI/ML、アプリケーション開発に注力している一方で、引き続き、シンプルかつプライスパフォーマンスに優れたプラットフォームを提供することを重要視している。データを一元化して、より安心、安全、簡単に利用できるプラットフォームとして常に改善を続けている」とSnowflakeの執行役員 セールスエンジニアリング 統括本部長の井口和弘氏は強調する。

Snowflake 執行役員 セールスエンジニアリング 統括本部長 井口和弘氏

　データ基盤の簡素さを推進するアップデートとしてまず紹介されたのが「Apache Icebergテーブルの対応（近日パブリックプレビュー）」だ。

　井口氏は「ビッグデータの活用などで、使うか分からないデータをSnowflakeに取り込む際に、軽視できないコストが発生する」とした上で、今回の対応により、ローデータを事前の取り込みコストが発生しないデータレイクのフォーマットに近い形式を使ってSnowflakeで扱えると説明。これにより、パフォーマンスを維持しながらコストを減らし、さらに管理もしやすくなるという。

Apache Icebergテーブルの対応

　また、コスト管理機能である「コスト管理インターフェイス（プライベートプレビュー）」を提供する。Snowflake上のクエリやSQLのコストを可視化する機能で、誰がどういったクエリを使っていて、どれだけコストがかかっているかをビジュアライズし、改善提案も行う。

コスト管理インターフェイス

　セキュリティ面においては、従来より展開するコンプライアンスやセキュリティ、プライバシー、相互運用性、アクセスの機能群とそれを管理するソリューションを包括したブランドとして「Snowflake Horizon」を発表した。

　Snowflake Horizonを構成する新機能として、コンプライアンス領域の「Trust Center（近日プライベートプレビュー）」が登場する。セキュリティ視点でのモニタリングツールで、不正アクセスがどれだけあったのか、推奨されていない設定が行われていないかをアラートしてくれる。

　また、ガバナンス領域の「データ品質メトリクス（プライベートプレビュー）」は、破損しているデータや不十分なデータを関数により検知、アラートで対処を促す。検知関数はユーザーが事前にカスタムすることも可能だ。

Trust Center

データ品質メトリクス

　その他、買収したLeapYearの技術による、プライバシーや個人情報などのデータの抽出を防ぎ、機密データを保護する「差分プライバシーポリシー」も開発中だ。