超大規模データ処理、超大容量ネットワーク、超大規模情報システム関連の応募に関して

概要

現在のJHPCNへの応募は超大規模数値計算系応用分野に対して集中している状況となっております。 名古屋大学情報基盤センターとしては、共同研究分野の裾野を広げるため、 特に、超大規模データ処理系応用分野、超大容量ネットワーク技術分野、 超大規模情報システム関連分野、および、それらをまたがる分野の研究を強く募集しております。

以下、公募への応募における参考となるように、 利用可能な計算機/ネットワーク資源全体図の資源を利用した 研究の実施におけるリソース利用例、および、 遠隔可視化の研究実例について示します。

利用可能な計算機/ネットワーク資源全体図

利用可能な計算機/ネットワーク資源全体図

研究実例(可視化システム遠隔利用によるビッグデータポスト処理)

計算科学基盤であるスーパーコンピュータによる計算規模は大規模化しており、 その結果出力されるビッグデータのポスト処理環境が重要になってきている。 そのため、スパコンからデータを直接書き出し、即時にポスト処理システムからも参照できる遠隔ストレージが有効である。 本研究では、スパコンとポスト処理環境を直接接続できるようなユーザランドで動作する 高速ファイル伝送が可能な通信プロトコルHpFP(High performance and Flexible Protocol)を開発し、 これを分散ストレージシステムに組み込むことにより、 スパコン計算に合わせた非同期データ伝送を実現した。 また、HpFPを用いてスパコンの計算ノードから直接データを遠隔ストレージに書き出したり、 遠隔ストレージから直接データを読み込んでポスト処理を行ったりするためのツールである HbVRS(High-bandwidth Virtual Remote Storage)を開発した。 このHbVRSの実証実験として、Gfarm分散ストレージから高速にデータを読み出し、 4Kディスプレイ上に表示するアプリケーションを開発し、 ひまわり8号の高解像度画像の任意の部分を4Kディスプレイ上に 時系列に従って連続表示する遠隔可視化を行った。

研究紹介ポスターや最終報告書などはこちら

可視化システム遠隔利用によるビッグデータポスト処理

研究の実施における計算機/ネットワークリソース利用例

大容量データ処理と大容量ネットワーク技術の複合

  1. 遠隔の計算機システムを並列利用する超大規模データ処理の実現
    • 外部計算機システムとネットワークを介して大規模データを共有しつつ並列データ処理を実施
  2. リアルタイムなネットワーク情報収集とデータ処理
    • SINET経由でインターネットへ高バンド幅で接続するネットワークを利用して大量データを収集し、収集したデータの解析などを行う

大容量データ処理と大容量ネットワーク技術の複合

問い合わせ先

  • 名古屋大学拠点の計算機/ネットワーク資源を利用した共同研究に関するお問い合わせは、共同利用担当(mail address)までお願いします。
  • JHPCN全体に関するお問い合わせは,こちらです。