今年もビルダーを魅了！AWS re:Invent 2019レポート 第2回

機械学習の推論チップからFargate for EKS、5Gエッジ「Wavelength」まで―re:Invent 2019

AWSのジャシーCEO基調講演、大量の新発表とその狙いを読む

コンピュート：新ARMプロセッサ「Graviton2」発表、ワークロードを拡大

　そしてもうひとつが「独自設計のカスタムチップ」によるイノベーションである。

　AWSではこの領域において、インテルやAMDとの共同開発に加えて、Amazon.com傘下のグループ企業であるチップメーカー、Annapurna Labsとの共同開発を進めてきた。昨年のre:Inventでは、その最初の成果となる64ビットARMプロセッサ「Graviton」を採用したEC2 A1インスタンスを発表していた。

　ジャシー氏によると、この第1世代Graviton（Graviton1）およびA1インスタンスは、コンテナ化されたマイクロサービスやWebアプリケーションといったスケールアウト型ワークロード向けに開発されたものだった。A1インスタンスは最大16vCPU、最大32GBのメモリ容量である。

　そして今年のre:Inventでは、第2世代の「Graviton2」を採用したインスタンスタイプ「EC2 M6g／C6g／R6g」が発表された。M6gはプレビューリリースを開始しており、R6g、C6gについても近日中のプレビューリリースを予定している。

Graviton2プロセッサベースの「EC2 M6g／C6g／R6gインスタンス」を発表。x86インスタンス比で40％高いプライスパフォーマンスを実現

　Graviton1と並行して設計開発を進めてきたというGraviton2は、Graviton1比で7倍のパフォーマンス、4倍のコア数、5倍高速なメモリ帯域を実現している。そのため、Graviton1よりも大規模なワークロードに対応しつつ、x86プロセッサベースのインスタンスよりも高いプライスパフォーマンスを実現するという。

　EC2 M6g／C6g／R6gインスタンスを見ると、いずれも最大64vCPUで、最大メモリ容量は汎用インスタンスのM6gが256GB、コンピューティング最適化のC6gが128GB、メモリ最適化のR6gが512GBとなっている。またネットワーク帯域は最大25Gbps、ブロックストレージ「Amazon EBS」との接続帯域幅は最大10Gbpsとなっており、同等のインテルx86プロセッサ採用インスタンスと比べて「価格性能比で最大40％上回る」と発表している。

　「昨年のA1インスタンス発表時には、こういう（64ビットARMベースの）インスタンスを利用するユーザーがいるのか、またサポートするパートナーやツールのエコシステムが生まれるのか、といった疑問もあった。だがその心配は杞憂で、A1インスタンスはすでに多くのユーザーに使われ、エコシステムも拡大している。今回発表したGraviton2ベースのインスタンスでは、Graviton1よりも幅広いワークロードに対応しつつ、x86よりも高いプライスパフォーマンスを実現している」（ジャシー氏）

EC2 M6g／C6g／R6gインスタンスのスペック詳細。Graviton1よりもはるかに大規模なワークロードにも対応の幅を広げた

　なおジャシー氏は、AWSではx86プロセッサにおけるインテルおよびAMDとの緊密なリレーションシップについても引き続き重要視しており、それぞれとの協業を継続していく姿勢に変わりはないことを強調した。独自開発プロセッサの採用は、あくまでも顧客に対してより多くの「選択肢」を提供することが狙いである。

コンピュート：機械学習の推論処理チップを独自開発、「Inf1インスタンス」発表

　もうひとつ、機械学習ワークロードを効率化するためのカスタムチップを搭載した新たなインスタンス「EC2 Inf1インスタンス」も発表された。同日より一般提供を開始している。

推論専用チップ「AWS Inferentia」を採用した「EC2 Inf1インスタンス」を発表

　ジャシー氏は、顧客企業においてこれから機械学習の活用が本格化し、大規模化していくと、処理コストのほとんどはモデルのトレーニングではなく推論（Inference）のステップでかかるようになると説明。これまで機械学習のトレーニング処理向けにはGPU搭載のEC2 P3インスタンスを提供してきたが、今回、新たに推論処理に特化したインスタンスも用意したと説明する。

　Inf1インスタンスは、Annapurna Labsと共同開発した推論専用カスタムチップ「AWS Inferentia」を最大16個利用し、Intel Xeon-SPプロセッサ（最大96vCPU、192GBメモリ）との組み合わせで処理を行う。この推論処理に特化した設計により、最大2000TOPS（毎秒2000兆回の処理）、レイテンシは1ミリ秒未満を実現し、推論処理でよく利用されてきたG4インスタンス比では「最大3倍のスループットを実現し、かつ最大40％のコスト削減ができる」と発表している。

　Inferentiaチップ向けに推論処理を最適化する「AWS Neuron」SDKも用意されており、TensorFlow、PyTorch、MXNetといった標準的な機械学習フレームワークで開発されたモデルは、ほぼコード修正することなくInf1インスタンスで利用できるという。また来年2020年には、マネージドコンテナサービスの「Amazon ECS」や「Amazon EKS」、機械学習サービス「Amazon SageMaker」でもInf1インスタンスをサポート予定だとしている。

EC2 Inf1インスタンスのスペックと、標準的なトレーニング／推論処理のプロセス。標準的なMLフレームワークとP3インスタンス（またはSageMaker）でトレーニングを行い、Neuronでコンパイル（最適化）したうえで、Inf1インスタンスで推論実行する