短期間でデータ分析基盤へのデータレプリケーションを実現
複数クラウドの契約管理の悩み セーフィーはSnowflakeとCData Syncで乗り越えた
提供: CData Software Japan
クラウド録画サービス「Safie」を提供するセーフィーは、SalesforceとZuoraをまたいだ契約情報の管理に大きな悩みを抱えていた。この課題の解消に大きく寄与したのがCData Softwareのレプリケーションツール「CData Sync」になる。契約管理におけるデータ管理の課題とそれを解消するプロジェクトの流れ、そしてCData Sync採用の経緯や苦労などをセーフィーの導入担当者二人に聞いた。
Salesforceの契約データとZuoraのサブスクデータの統合に課題
セーフィーが開発・運用するクラウド録画サービス「Safie」 。全国で管理しているカメラは26万台を超えており、カメラで録画したデータはクラウドで管理されている。また、単に録画データを管理するだけではなく、セキュアな通信、カメラの管理、動体・音声の検知、そして動画の共有までさまざまな付加価値を提供している。
セーフィーはSaaS事業者でありながら、カメラの提供や設置まで手がけているのも特徴的だ。ユーザーから見るとカメラの設置から運用、録画データの管理までワンストップで利用できるメリットがある。しかし、事業者側の立場からすると通常のSaaSよりも、オペレーションや契約管理が複雑という課題を抱えていた。具体的には、データの保存・管理のSaaS機能が毎月のサブスクリプション契約なのに対し、カメラの設置などはワンショットの契約になるため、これらを統合管理するのが大変だったという。
今まではオペレーションや契約などは、すべてSalesforce中心に管理していた。順番としては今回話を聞いた谷口元信氏が入社した5年前にSalesforceを導入し、スプレッドシートやパッケージで管理していた契約情報を集約。このSalesforceと「請求管理ロボ」というサービスを連携させることで、請求周りを管理することにした。これにより、Salesforceから財務会計のレポートも出力でき、Excelでの加工を経て会計システムのfreeeへデータインポートまで実現した ので、会計処理としてはここまでで十分役割を果たしていたという。
ただ、Salesforceはサブスクリプションの契約管理に限界があった。「月単位で請求が来るので、これらのレコードを自動生成したり、一括払いの場合には未来のレコードを先んじて作って請求を回さなければなりません。でも、会計システムにあわせてレコードを作成すると、オペレーションが効率的に回せないという不和がありました」と谷口氏は語る。たとえば、解約して別のプランを選んだ場合には、本来欲しい形式と異なるデータができてしまう。
セーフィー開発本部 副本部長 兼 VPoE 谷口元信氏
この事態を解決するために2年前に導入を決めたのが、サブスクリプションに特化した契約管理サービスのZuoraだ。ただ、サブスクリプション契約の管理をZuoraに移管してしまうと、Salesforce上に商談や取引先、商品のマスターなどがあるにも関わらず、サブスクリプション契約のオブジェクトが一切更新されなくなってしまう。つまり、今までSalesforce単体で実現していた会計のレポートがZuora導入以降は出力できなくなるわけだ。
Zuora導入におけるデータ分析の課題
SalesforceとZuoraのデータをデータ分析基盤に集約
まさに「前門のZuora、後門のSalesforce」というこの事態に対して、セーフィーのとった選択肢は、従来から利用してきたデータ分析基盤で会計データも分析するという方法。進捗の思わしくないZuoraのプロジェクトに参加した谷口氏が声をかけたのが、Snowflakeをベースにしたデータ分析基盤を運営するグループリーダーの大室昌也氏だ。データ分析基盤グループは社内データの利活用を推進する組織 で、データ分析基盤のシステム開発や各部署のデータ利活用支援 を手がけている。
セーフィー 開発本部 第3開発部 データ分析基盤グループ グループリーダー 大室 昌也氏
もともとデータ分析基盤はユーザーの利用動向の把握やプロダクト改善のために構築されたもので、DWH（Data Ware House）にはSnowflakeを採用し、サービスのバックエンドDBのデータを連携していた。ここにSalesforceとZuoraのデータと 取り込み、財務会計レポート、管理会計レポートを生成しようと考えていたわけだ。
Zuoraのリリースは今年の1月だが、依頼が来たのは昨年の10月。大室氏は、「3ヶ月でSalesforceとZuoraのデータを取り込んで、経理部や経営企画部の会計業務に支障が出ないようにするための 財務会計レポート、管理会計レポートを出力しなければならなくなったんです」と語る。
当時、データ分析基盤グループでシステム開発を担当できるデータエンジニアは2名しかいなかった。 「開発工数が限られていたため、スクラッチ開発は断念し、データ連携ツールの導入を検討しました」（大室氏）。
データ連携機能が豊富なCData Syncを選定
複数の製品の中から選定したのが、CData Softwareの「CData Sync」になる。「コネクターが豊富というのはポイントでした。現在はSalesforceからSnowflakeへのデータ連携にしか使っていませんが、将来的にはいろいろな部門からSaaSのデータを分析したいという依頼は来ると思うので」と大室氏は語る。また、データ分析基盤からSaaS側にデータを書き戻すリバースETLに対応しているという点も大きかったという。
さらに導入済みのSaaSサービス「dbt Cloud」との連携も大きかった。 dbt CloudはいわゆるETL処理のうちTransformを手がける変換ツールで、セーフィーではSalesforceの契約データとZuoraのサブスクリプションデータを統合し、セーフィーのプラットフォームの持っているIDと連携させるようにモデリングしている。「もともとのデータが分析しやすい構造になっていなかったので、dbt Cloudはフル活用している。その点データの変換処理をdbt Cloudのジョブとトリガー単位で組みあわせられるCData Syncのメリットは大きかった」と大室氏は語る。
トライアルが昨年の10月から、契約が1月くらい。最初は谷口氏が検証を担当し、AWSにCData Syncをデプロイ。疑問はCData Softwareのフォームから問い合わせを行ない、かえってきた返答のナレッジを蓄積しながら、約1ヶ月半検証し、導入にこぎつけた。「1日以内のスパンで一次回答をいただき、そこから深掘りしながら検証が必要な課題を解決していきました」と谷口氏は振り返る。
データ分析基盤の理想と現実 ギャップを埋めユーザービリティを向上
CData Syncをはじめ、各種ツールを用いることで、SalesforceとZuoraのデータをデータ分析基盤に格納するところまでは実現した。そして、最終的な財務会計・管理会計のレポートは、BIツールであるTableauのPrep機能やカスタムSQLを用いてなんとか実現した。
アーキテクチャの概要
ただ、これに対して大室氏は、「もともとのデータ分析基盤はレイヤーごとにデータをモデリングすることで、『原石をダイヤモンドに仕上げていた』。でも、現状は生データを無理矢理成形して、レポートを再現していたのが昨年末までの作業。われわれが本来目指していたきちんとデータをモデリングして、分析しやすい形にするというところまではいってなかった」と不満そうな顔を隠さない。あとから入ってきたSalesforceやZuoraも、今まで構築してきた基本設計に合わせたかったというのが、大室氏の想いだ。
そのため、SalesforceやZuoraのデータを改めて整備するのが今年の目標だ。あらゆるデータを分析しやすい形にモデリングし、Snowflakeに格納。これによりデータパイプライン全体の処理速度向上やコスト最適化を実現するという 。
「管理会計のレポートを見たい人はTableauを開かないと見られないとか、サービスの利用動向 を見たい人はSnowflakeを見ないといけないとか、そういった状況はユーザーフレンドリーではない。社内の誰もがデータに基づく意思決定をシームレスに行なえる環境を構築するのが、われわれの思い描く姿」と大室氏は語る。
CDataに関しては、実はパートナーとしての役割を期待している。外資系IT企業としては珍しく国産クラウド用のコネクターを数多く開発しているCDataだが、実はSafieのデータを外部から利用できるAPI用のコネクターも開発済み。Safie でのAI 解析結果や小売における店舗の人数推移や混雑状況を識別したデータをSnowflakeなどのDWHに連携できるという。「プラットフォーマーとしてユーザー自身がわれわれの映像データを使っていけるエコシステムを目指したい。映像データの利活用を促進するパートナーとして期待しています」と谷口氏は語る。
Safie「AI-App 人数カウント」APIとCData Syncの連携を開始