Icebergテーブル対応によりビッグデータ活用のコストを削減

Snowflake、技術者向けカンファレンスにて生成AI活用を加速させるアップデートを発表

2023年11月14日 07時00分更新

文● 福澤陽介／TECH.ASCII.jp

AI活用の加速 ― SnowflakeがホスティングするLLMの実行環境「Snowflake Cortex」が登場

　続いて、セキュアなSnowflake上のデータによる生成AI活用を加速させるアップデートについて説明された。本イベントでもっとも発表が多かった領域だ。

　Snowflake上のデータで生成AIを活用するための基本要素として、今回新たに発表された「Snowflake Cortex（プライベートプレビュー）」と、2023年6月のSnowflake Summit 2023で発表されたSnowpark Container Servicesがある。「Snowflake Cortexは、Snowflakeの中でAIアプリケーションをより簡単に開発できるようなプラットフォームで、Snowpark Container Servicesはカスタム用途のAIアプリケーションを作るためのプラットフォーム」と井口氏は説明する。

生成AI＆LLMの活用におけるSnowflakeの全体像

　Snowflake Cortexは、Snowflake自身がホスティングしてサーバーレスで提供するフルマネージドなLLMの実行環境。Snowflakeが、MetaのLlama 2などのLLMをホスティングしたうえで独自にファインチューニングし、Snowflakeのデータを検索するサーバレスのAI/LLM関数を提供する。

Snowflake Cortex

　一方で、Snowpark Container Servicesは、Snowflakeの中でKubernetesのコンテナを立ち上げて実行できるサービス。Snowflakeが管理するインフラを用いて、オープンソースやNVIDIAなどのSnowflakeのパートナーのLLMをデプロイ・運用でき、ファインチューニングや、カスタムされたアプリケーションを作成することができる。

　Snowflake Cortexで提供するAI/LLM関数の一つが「専用関数（プライベートプレビュー）」だ。非構造化テキストデータの翻訳や要約、分析および、構造化データの予測分析が可能になる。また「汎用関数（プライベートプレビュー）」は、会話型LLMでの推論やベクトル類似性検索を実行でき、コンテキスト化されたAIアプリケーションを構築できる。

専用関数

汎用関数

　さらにSnowflake Cortexをベースとして構築された機能として「Document AI」「Snowflake Copilot」「ユニバーサル検索」を提供する。

　Document AI（プライベートプレビュー）は、ビルトインされたLLMにより、PDFや画像などからテキスト情報を抽出、自然言語を通じてファインチューニングも可能だ。

　Snowflake Copilot（プライベートプレビュー）は、LLMを活用したアシスタントで、SnowflakeのUIであるSnowsight上から利用できる。自然言語からSQLを生成し、会話を通じてクエリの調整などができるようになり、ユーザーの生産性を向上させる。

　ユニバーサル検索（プライベートプレビュー）は、LLMを活用した検索機能で、買収したNeevaのベクトル検索の技術を用いている。Snowflake全体のテーブルやビュー、データベース、スキーマ、さらにはマーケットプレイスを対象として、データやアプリを検索することができる。

Snowflake Copilot

ユニバーサル検索

　また、ユーザー自身でAIモデルを学習させたいという場合には、「Snowpark MLモデリングAPI（近日GA）」を活用できる。scikit-learnやxgboostなどの一般的なMLフレームワークを用いてモデル学習を簡素化し、Snowflake内でデプロイして実行できる。ただし、GPUベースの場合はSnowpark Container Servicesを利用する必要がある。

　またユーザーからリクエストの多かった、PythonやSQL、Markdownを使用できる、Snowsightにおけるセルベースの開発インターフェイス「Snowflake Notebooks（プライベートプレビュー）」も提供する。

アプリケーションに合わせたスケーリング ― アプリケーション配布のためのフレームワークが近々GAに

　アプリケーションに合わせたスケーリングでは、「カスタマーアプリやファインチューニングされたアプリケーションが、（Snowflakeのマーケットプレイスを通して）業種・業態向け、個別のユースケース向けに提供されることを期待しており、よりアプリケーション開発がしやすいようなエンハンスをしている」と井口氏は説明する。

　そのために、ソースコード管理や変更管理のためのGit統合（プライベートプレビュー）や、データベースのスキーマの変更管理（近日プライベートプレビュー）など、開発エクスペリエンス向上のための機能強化を進めている。

　また、Snowflake Summit 2023で発表した「Snowflakeネイティブアプリフレームワーク」が近々、AWSにおいてGA、Azureにおいてはパブリックプレビューを迎える。ネイティブアプリケーションの構築から配布、展開、運用、収益化に必要となる機能を備えたフレームワークで、エンドユーザー側はマーケットプレイス経由でアプリケーションコードやコンテナサービスの定義体を利用し、Snowflake上のデータを活用できる。

　マーケットプレイス上でネイティブアプリケーションを提供するパートナーやプロバイダーは、各領域で順調に増えてきているという。