バッチやETLなど一見地味な新サービスの存在意義とは？

データの品質が差別化につながる時代のAWSのアーキテクチャ

2016年12月06日 07時00分更新

文● 大谷イビサ／TECH.ASCII.jp

米国ラスベガスで開催されたAWSの年次イベント「AWS re:Invent 2016」の大きなテーマの1つは「データ」だったように思える。アンディ・ジャシーCEOとヴァーナー・ボーガスCTOの基調講演をまたいでデータというテーマでまとめてみたい。

データ分析のうち8割は分析とは異なる作業

今のデータ分析の8割は、データ分析の仕事ではない

　4日目の基調講演に登壇したAWS CTOのヴァーナー・ボーガス氏が掲げたテーマは「トランスフォーマー（変革者）」だ。デジタルトランスフォーメーションが叫ばれる昨今のIT業界で、このテーマは最近よく引き合いに出されるが、ボーガス氏は「開発」「データ」「コンピュート」という3つの領域で、変革者を支援できると説く。そして、このうち特に力点が置かれたのが、2つ目のデータに対する取り組みだ。

4日目の基調講演に登壇したAWS CTOのヴァーナー・ボーガス氏

　IoTやAIなど最新のトレンドは、多かれ少なかれ、データ分析にひも付いている。デジタルトランスフォーメーションのためには収集したデータをなんらかの方法で価値に変え、ビジネスの拡大やオペレーションの効率化、コスト削減につなげていかなければならない。

　「会社の規模は関係なく、同じコンピュートリソースになった今、データの品質こそが企業の差別化につながる。だれが一番よいデータにアクセスできるのか？　どう管理すべきか？　分析の精度をどのように高めていけばよいかが重要になる」とボーガス氏は語る。基調講演ではデータを活用して価値を生み出しているユーザーとして、地図のプラットフォームを展開しているMapboxや米国政府の健康医療局などの担当者が登壇し、AWSのスピードやグローバル対応について高く評価した。

Mapboxは精度の高いロケーション情報を収集し、プラットフォームサービスとして提供している

　しかし、ボーガス氏は「現在、データ分析と呼ばれている仕事のうち、8割は分析ではない」とも指摘する。この8割は、データに対する「取得する」「インデキシングする」「溜める」「検索する」「アクセスする」「セキュリティを確保する」「ガバナンスを効かせる」といった処理を指しており、確かに分析作業自体ではない。この一連のフローのどこかに大きな負荷がかかるからこそ、データを価値に変えるのが難しい。変えられるのは、コストや人員がかけられるエンタープライズや、スキルに長けたWebサービス事業者のようなところだ。ここにボーガス氏が考える課題感がある。

　これに対して、ボーガス氏が提案するのが、「The Modern Data Architecture」という概念だ。データの収集、蓄積・保存、分析までの一貫したサイクルを実現するこのアーキテクチャを実現すべく、AWSはどのようにサービスを充てていくか。こうした視点で見ると、一見すると地味に見える今回の新サービスがなにを埋めるものなのか腹落ちして入ってくる。

ボーガス氏が語るThe Modern Data Architecture

進化するS3とPostgreSQL互換になったAurora

　まずはデータの収集（インジェスチョン）の部分だ。AWSにはAmazon S3というデータのバケツがあり、集めたデータはとりあえずそこに放り込んでおける。また、リアルタイムなストリーミングデータを扱うサービスとしてKinesisやDynamoDB Streamsなどがあり、既存のデータベースの移行を実現するためにDatabase Migration Serviceも用意されている。さらに大容量データを物理的なアプライアンスやコンテナで可搬するSnowballも1つのデータ収集の入り口と言えるだろう。

幅広いインジェスチョンの選択肢

　創業時のサービスであるAmazon S3は、今も着実に進化している。S3でのイベントをトリガにLambdaを呼び出したり、CDNであるCloudFrontを利用してアップロードのスループットを向上させる機能（Transfer Accerelation）などはこの数年で追加されたものだ。最近では、オブジェクトのタグ付け、証跡管理のCloudTrailでのイベント管理、CloudWatchへのメトリックスの払い出しなども、管理機能として強化されている。ただのバケツというには惜しいくらい機能が強化されているわけだ。

ますます進化するS3

　また、収集したデータを安全に保存すべく、AWSではS3のほか、ブロックストレージのEBS、ファイルサービスのEFS、NoSQL DBのDynamoDB、コールドストレージのGlacierなど用途に応じたデータサービスを用意している。さらにRDSシリーズはRDBをサービスとして提供する。OracleやSQL Serverのような商用製品、PostgreSQLやMySQL、MariaDBなどのOSS、そしてAuroraのような自社製サービスなどを幅広く取りそろえている。

オリジナルデータソースの保護を可能にするデータベース系サービス

　このうち高い性能と可用性を誇るMySQL互換のAmazon Auroraは成長率も高く、多くのエンタープライズで導入されているという。また、スキーマの変換とゼロダウンタイムでのレプリケーションを実現するDatabase Migration Serviceも着実に実績を重ね、すでに1万4000のデータベースをマイグレートしているとのこと。そして、今回「PostgreSQL For Aurora」が発表されたことで、MySQLやPostgreSQLのようなOSS DBからAuraoraへの移行がますます促進しそうだ。