大阪大学D3センターとNEC、国際会議・展示会SC24にて100Gbpsのファイル転送実験デモを展示

日本電気株式会社



大阪大学D3センター（旧サイバーメディアセンター）とNECが2021年に設立した高性能計算・データ分析融合基盤協働研究所（所長：伊達 進教授、注1）は、オープンサイエンスを支えデータ活用を促進するデータ基盤RED-ONIONの研究開発を実施しています。今回、本研究所の研究開発成果を、2024年11月17日から米国ジョージア州アトランタで開催されるハイパフォーマンスコンピューティングに関する国際会議・展示会SC24にて展示します。展示は、日米間の回線を用いて巨大研究データを100Gbpsの回線を用いてサーバ間で転送を行うものとなります。一方のサーバのストレージに蓄積された1ファイルの巨大研究データをもう一方のサーバに高速に転送します。事前の検証では、1TBのデータの転送が87秒(実効92.0Gbps)で完了することを確認しており、本デモ展示では日米間の長距離転送での性能を確認するものとなります。

＜背景＞
近年、大学などの研究機関には研究データを社会全体で共有するオープンサイエンスの推進が強く求められています。2023年5月に仙台で開催されたG7仙台科学技術大臣会合においても、G7各国およびEUの共通認識として「G7科学技術大臣の共同声明」が出され、その中でオープンサイエンスの推進が挙げられています。このためには、日々の学術研究で産み出される研究データを様々な研究機関と共有可能とし、利活用可能な形で管理し、また社会に広く公開するデータ基盤の構築が不可欠となっています。

このような背景から、大阪大学D3センターでは、学内外の研究者が保有する研究データを蓄積・共有可能とする、データ集約基盤ONION (Osaka university Next-generation Infrastructure for Open research and innovatioN)の試験運用を2021年5月から行ってきました。高性能計算・データ分析融合基盤協働研究所では、この試験運用中のデータ集約基盤ONIONを高速データ転送サービスにより高度化するRED-ONION(Research EnhanceD ONION)の研究開発に取り組んできました。

今日、大容量・大規模な研究データを共同研究グループ間で共有する場合、非常に低速なネットワークを用いて転送する必要があり、かなりの時間を要しています。場合によっては、ハードディスクに研究データを一度コピーし、物理的に運搬するなどの手段も取られています。そのため、データ共有は非常に手間と時間がかかるものであり、データを活用した研究促進の障害となっていました。RED-ONIONでは、大容量・大規模データを取り扱う学術研究の高効率に支援することを目的とし、学内で生成される膨大量の研究データをデータ集約基盤ONIONを中核とする学内主要拠点間で高速に移動・共有できる高速データ転送サービスを実現します。これにより、大阪大学キャンパス内の研究データの流通性を高めるとともに、大容量・大規模データを取り扱う高性能計算・高性能データ分析を必要不可欠とする今日の学術研究の生産性に大幅に寄与することをねらいます。


＜研究成果概要＞
本研究所では、RED-ONION実現に向けて巨大研究データを研究拠点間で高速にデータ共有可能とする高速データ転送システムのプロトタイプを開発しています。この高速データ転送システムは、データ集約基盤ONIONを中核として学内主要拠点に研究データ転送専用の高速なネットワーク、サーバ、および、ストレージを配備します。当該システムにより、大容量・大規模な研究データを学内主要拠点間で高速かつ効率的にデータを移動・共有させるだけでなく、試験運用中のデータ集約基盤ONIONに収容可能となります。


今回の研究成果は、巨大研究データの転送を効率化するシステム技術になります。研究拠点のストレージに蓄積された研究データを、他方の研究拠点のストレージあるいはD3センターの共有ストレージに、約100Gbpsの速度で簡単かつ高速にデータ転送可能とします。本技術の特徴は、ストレージに蓄積された１つの巨大ファイルをもう一方のストレージに、コピーコマンド1つで高速転送可能とする点にあります。事前検証では、1TBからなる巨大研究データ1ファイルの転送が87秒(実効92.0Gbps)で完了し、100Gbpsのネットワーク性能を限界近くまで引き出せることを確認しました。

＜SC24での実験デモ展示＞
SC24では、高速データ転送システムの長距離転送実験を実施し、国立研究開発法人情報通信研究機構（以下、NICT 注2）が出展する研究展示ブースで展示します。本実験は、学内での研究データ共有に留まらず、国内他大学や他研究組織とのデータ共有、さらには海外研究グループとのデータ共有を想定した長距離データ転送での性能を確認することを目的としています。開発したプロトタイプを用い、国際間の長距離データ転送を想定した日米間および米国内のデータ転送実験をNICTが中心となり日本国内外のNREN（注3）の協力を得て構築したネットワーク回線および実験環境を用いて実施する予定です。
本実験およびプロトタイプの開発にあたり、高速ファイル転送ソフトウェアArchaeaを開発する株式会社クレアリンクテクノロジーに技術協力いただきました。また、サーバ機器はスーパーマイクロ株式会社、ストレージ装置は株式会社データダイレクト・ネットワークス・ジャパン、ネットワーク機器の一部は株式会社マクニカに提供いただきました。

以上

(注1) 高性能計算・データ分析融合基盤協働研究所 https://www.nri.cmc.osaka-u.ac.jp/ja/
(注2) 国立研究開発法人情報通信研究機構（NICT）： 情報通信分野を専門とする日本唯一の公的研究機関 https://www.nict.go.jp/
(注3) 日米間実験用ネットワークの構築に協力いただいた機関：NII、SingAREN、
Internet2、PacificWave、TransPAC、NICT
米国内実験用ネットワークの構築に協力いただいた機関：SCinet、Internet2、CENIC


＜本件に関するお問い合わせ先＞
大阪大学D3センター
高性能計算・データ分析融合基盤協働研究所
E-Mail：[e-mail]

NEC 文教・科学インテグレーション統括部
E-Mail：[e-mail]