メソドロジック、データパイプラインを自動化するFivetranとパートナーシップ締結

メソドロジック
DatabricksとSnowflakeを中心としたModarn Data Stackを推進

データモデリングとアーキテクチャー設計の株式会社メソドロジック(本社：東京都港区麻布台、代表取締役社長：大西俊幸、以下「メソドロジック」)は、米国Fivetran社（本社：米国 カリフォルニア州オークランド、以下「Fivetran」）とパートナー契約を締結しました。



Fivetranは、データ転送の会社であり、自動でデータパイプラインを構築するSaaS型のクラウドサービスを提供しています。セットアップは最短5分で完了し、メンテナンスや設定変更の工数を大幅に削減可能です。
スキーマは事前に定義をされており、ローコードになっています。Fivetranは、全世界で4,000社以上に導入されています。SalesforceやMarketo、Zendeskなど200種類以上のサービス、データベースコネクタを持ち、DatabricksレイクハウスやSnowflake、BigQueryなどのクラウド型DWHを中心とした、データ分析基盤に自動的にデータが格納できるELTサービスです。メソドロジックは、Fivetranに代表される『Modarn Data Stack』の導入支援サービスを推進していきます。

従来のETL処理は、データウェアハウスにデータを入れる際、データ抽出（Extract）、変換加工（Tranceform）、データウェアハウスにロード処理（Load）の順にて実施していました。


Fivetranは、クラウドベースのETL処理をするサービスであり、データ抽出、ロード処理までを自動化し、変換加工は、クラウドデータウェアハウス側で実施してもらうというETLのソリューションになっています。ETL処理では、ソースデータが、追加、削除、編集をされるとスキーマが変更されるために、ETLで開発をしているプログラムに修正が必要となります。また、分析をするために必要なデータが変更された場合にもETLプログラムには修正が必要となります。つまり、ETL処理は、運用の負担が非常に多くなりがちでした。


■従来のETL

■FivetranのELT



Fivetranは、データソース側で、何らかのデータを変更した際に、これを自動的に検知しDWHのデータを修正、同期することが可能です。さらに、今までのETLツールでは、データを同期させるためプログラム開発が必要となり、データが変更になるたびにメンテナンスが必要でしたが、Fivetranでは、スキーマ管理、同期処理、エラーが発生した場合の再試行など、データの同期処理を自動で実行するため、データエンジニアの大幅な工数削減を実現します。


【200種類以上のデータソースに対するコネクタを用意】
Fivetranは、データ分析基盤と連携が求められる以下の主要なデータソースに対して、接続検証済みの環境をコネクタとして用意しており、セットアップ作業を大幅に削減可能となっています。



【Fivetranのデータソースコネクタ】


Shane Harris-Tunks氏は、以下のように述べられています。


―Fivetran,inc.アジア太平洋アライアンス統括部長、Shane Harris-Tunks 氏コメント
この度、メソドロジック社と提携し、我々の完全自動化データパイプラインを日本に提供できることを非常に嬉しく思います。この共同パートナーシップにより、Fivetranとメソドロジック社は、あらゆる組織のクラウドデータジャーニーを加速することができるようになると期待しています。Fivetranは、設定やメンテナンスが不要な自動データパイプラインを提供し、メソドロジック社とお客様は、Fivetranが移動するデータからビジネス価値を生み出すことに集中できるようにします。

メソドロジックは、Fivetranとともに、データ統合への根本的に新しいアプローチにより、エンジニアリングの時間を節約し、エンジニアとアナリストが、より価値の高い活動を追求できるように、Modarn Data Stackを推進していきます。


＜株式会社メソドロジックについて＞
メソドロジックは、データモデリングとアーキテクチャー設計を軸としたITコンサルティング会社です。
ビジネスの本質を捉え、業務と、システムの構造を可視化するモデリングと、最適な構造に変革するアーキテクチャー設計を実施しております。最先端の技術を活用したITアーキテクトを通じてエンタープライズ向けシステムの構築、継続性のあるシステム運用、改善を支援しております。

名称 ：株式会社メソドロジック
代表 ：代表取締役社長　大西 俊幸
住所 ：東京都港区麻布台2-4-5 メソニック39MTビル
事業内容 ：データモデリング、アーキテクチャー設計
URL ：http://www.methodologic.co.jp