Connect Cloud：定期的にデータを外部DBにロードできるキャッシング機能を追加！
本記事はCDataが提供する「CData Software Blog」に掲載された「Connect Cloud：定期的にデータを外部DBにロードできるキャッシング機能を追加！」を再編集したものです。
こんにちは、プロダクトチームの宮本です！
ドライバーのクラウド版であるデータハブサービスのCData Connect Cloudに、なんとキャッシング機能が追加されました!! これまでは大量データが返ってくるようなデータソースの場合はAPI制約に抵触したり、データ取得に時間を要することでクライアント側が利用するまでに相当な時間が掛かったりという課題がありましたが、キャッシング機能を使用することで大幅に改善されるようになります！
ではさっそくキャッシング機能についてみていきましょう。
3行まとめ
・キャッシング機能（データロード）をサポート
・ユーザー指定のDBにキャッシュ
・スケジュール＆差分更新可能
キャッシング機能について
キャッシングというワードから、取得したデータをConnect Cloud内部に一時的に保持するのかなというイメージを抱く方も多いと思いますが、実際はそうではなく、ユーザーが指定した任意のDBにデータソースからの取得データをロードします。しかも、ロードするためのジョブをスケジュール化することができ、まさにConnect Cloud上で簡易版のCloud ELT機能が備わった形です。
また日時項目による差分更新も可能です。このオプションが有効となることで、毎回大量データを蓄積する必要もなく、変更分だけをデータソースから抽出して指定のDB を更新することができます！
よくあるケースがMarketoのリードデータ取得です。リードデータをニアリアルで分析したいニーズはよくありますが、ことMarketoには大量のリードデータが保存されているため、API経由でデータを取得するまでに非常に長い時間待つ必要があったりします。ただ 1時間に1回、差分更新モードでキャッシュすることで、Marketoの最新データをクライアント側ですぐに活用することができるようになります。
キャッシング機能の制約事項
キャッシング機能を使うためにはいくつか制約事項もあります。
・同期先DBは PostgreSQL のみとなります（今後対応DBが増える可能性あり）
・キャッシュ対象の項目を取捨することは不可。全項目対象です
・（現時点では）この機能はProfessionalプラン以上、もしくはVirtualizationパッケージを個別契約する必要があります（今後変わる可能性あり）
それでは実際に使い方をご案内いたします。
キャッシング機能の使い方：設定編
Connect CloudにログインするとサイドメニューにCachingというメニューが表示されていますので、こちらをクリックします。
次にキャッシュしたデータを格納するデータベースへの接続設定を行います。
接続設定は一般にデータベース接続に必要な項目のみ。指定したら右上のSave＆Testボタンで接続テストと保存を行います。
次に キャッシュジョブを作成するためにAdd Jobボタンをクリックします。
事前に作成してあるコネクションリストの中からひとつ選択します。今回はSalesforceを選びました。
対象テーブルを選択します（データソースのオブジェクトがテーブルリストとして表示されます）。
ここではスケジュール設定、差分更新の有無、どのカラムを差分更新判定で使用するかを設定します。
これで設定は完了ですので、あとはスケジュールで実行されるのを待つます。もちろん手動実行もできるようになっています。
キャッシング機能の使い方：実行編
実行後はこのように最後に実行した時間やステータス、キャッシュしたレコード件数が表示されます。
ちなみに今回作成したジョブは差分更新モードなので、データソース側に変更がなければ2回目以降のジョブは0件という結果になります。
キャッシュ先DBの確認
PostgreSQLを参照するとSalesforceのデータが格納されていることが確認できました。
あとは、Connect CloudからはPostgreSQLを参照するだけでSalesforceのデータを利用することができるようになります。
おわりに
いかがでしたでしょうか。これまでのConnect Cloudではクライアント側からのアドホックなリクエストに対して結果を返すというコンセプトではありましたが、クライアント側からのリクエストを待たずに定期的にデータを収集できるようになりました。
これで色々なクライアントツールからの利用方法も変わってきそうだなという印象です。
このConnect Cloudですが、以下のページから簡単にトライアルすることができます。ぜひこのキャッシング機能を試してみてください！