AIスタートアップ

セミナー情報

【第54回AIセミナー】「ABCI グランドチャレンジ成果報告会」

終了しました。

2022年1月第2回目は、「ABCI グランドチャレンジ成果報告会」を開催いたします。
AI橋渡しクラウド（AI Bridging Cloud Infrastructure、ABCI) は、国立研究開発法人産業技術総合研究所が構築・運用する、世界最大規模の人工知能処理向け計算インフラストラクチャです。2018年8月に本格運用を開始し、2021年5月には最新のGPUノード等を追加して「ABCI 2.0」にアップグレードを行っています。
ABCIの狙いは、合算で851.5ペタフロップス（半精度）という膨大なAI処理能力を研究者や開発者に提供することにより、我が国のAI／ビッグデータ処理の進歩を加速することです。産総研では、ABCIの莫大な演算能力によりはじめて可能になる人工知能分野の最重要課題や人工知能やビッグデータを活用した社会的重要課題への挑戦を支援するため、「ABCIグランドチャレンジ」プログラムを実施しています。本プログラムは、ABCIがもつ最大計算ノード数、計算ノード（A）においては120ノード（960GPU）、計算ノード（V）においては1,088ノード（4,352GPU）を最大24時間、1研究グループでの占有利用ができる公募型チャレンジプログラムです。
本セミナーでは、ABCIグランドチャレンジ2020の第3回とABCIグランドチャレンジ2021の第1回と第2回の参加者を講師としてお招きして、各チームでのチャレンジの内容や成果、今後の取り組みについてご紹介いただきます。

※今回は4番目の陳鵬さん、および7番目のTruong Thao Nguyenさんは英語でのご講演です。通訳はありません。

名称	【第54回AIセミナー】「ABCI グランドチャレンジ成果報告会」
日時	2022年1月19日（水） 15:00 - 17:30
受付時間	接続可能時間：14:50-17:30
場所	Zoomウェビナーによるオンライン開催 ※お申し込み後、EventRegist（申込ツール）より参加URLをご案内いたします。
定員	500名
参加費用	無料
連絡先	人工知能セミナー窓口
注意事項・定員になり次第締切ります。・産総研は、お送りいただいた情報をセミナー運営以外の目的には使用しません。・講演の録画やアップロードはご遠慮ください。

プログラム

15:00- 15:10	ABCI グランドチャレンジ 2020 & 2021 概要谷村勇輔（産業技術総合研究所）


15:10- 15:30	大規模計算を用いたプリント回路基板設計における放射EMI(電磁妨害波)予測巨智部陽一（富士通株式会社）
	概要電子機器製品の設計開発において、回路動作の高速化・低電圧化とともにEMI（回路動作により発生する電磁妨害波）規格への適合は設計段階での対策が難しく、開発工数が増加する要因となっている。そこで、プリント基板の設計段階で電磁界シミュレーションによる仮想的な評価を実施することにより、試作と測定評価の工数を削減する取組みが盛んである。富士通では、プリント回路基板における電磁ノイズ対策設計の更なる効率化と、解析専任者でなくとも扱える簡易なCAE（設計者CAE）の実現を目的として、この電磁界シミュレーションとマルチGPU 学習を組み合わせた、電磁波予測 AI の大規模学習システムの構築を行った。構築されたAIは、様々なパターンを含む複雑なプリント回路基板からの放射電磁界の予測をすることで、設計者がシミュレーションをバイパスし、設計回路の性能を即時評価することを可能にする。本研究により、設計プロセスのフロントローディングを実現し、設計プロセスの革新を目指している。
	略歴富士通株式会社　コンピューティング事業本部　計算科学事業部所属 1994年　富士通株式会社入社現在、電磁波解析ソフトウェアの開発に従事。技術士（電気電子部門）講演資料 PDF: 1,616KB
15:30- 15:50	日本語大規模モデルの分散並列学習笠置明彦（富士通株式会社研究本部ICTシステム研究所　シニアリサーチャー）
	概要深層学習における自然言語処理分野のワークロードは、ニューラルネットワークモデルと学習用データのサイズの急激な増加によって巨大化してきている。学習処理には巨大な計算処理を要求されるため、単一のプロセッサによる演算能力では数カ月以上を必要とし、現実的な開発時間で実施するためには複数の演算機を用いた分散並列処理が必須である。我々は高い精度を実現するために巨大なBERTモデルと日本語データセットを利用し、ABCIの計算資源を用いて事前学習を実施した。精度検証を行った結果、短時間の事前学習で世界トップレベルの精度を達成した。
	略歴 2015年株式会社富士通研究所に入社。スーパーコンピュータによる大規模並列計算の研究に従事。深層学習の分散並列処理を効率化し、MLPerf training v0.6のResNet50のベンチマークにてABCIで世界一を達成。その後もMLPerf HPCにてハイブリッド並列演算手法を導入。富岳に適用してCPUベースのスーパーコンピュータにて世界一を達成。富士通株式会社に移り、今に至る。
15:50- 16:10	High-performance Image Reconstruction on ABCI supercomputer 陳鵬（産業技術総合研究所　研究員）
	概要 Tomographic imaging is a widely used technology that requires intensive computations. We will introduce our activity on high-performance image reconstruction using ABCI supercomputer. We take advantage of the heterogeneity of GPU-accelerated systems by overlapping the filtering computation and back-projection on CPUs and GPUs, respectively. We propose a novel decomposition scheme and reconstruction algorithm for distributed image reconstruction. This scheme enables arbitrarily large input/output sizes, eliminates the redundancy arising in the end-to-end pipeline, and improves the scalability by replacing two communication collectives with only one segmented reduction. More specifically, we propose a distributed framework for high-resolution image reconstruction on ABCI supercomputer and implement the proposed decomposition scheme in a framework that is useful for most of the current-generation tomographic imaging devices.
	略歴 Peng Chen is a researcher at National Institute of Advanced Industrial Science and Technology (AIST), Japan. Also, he is a visiting scientist at RIKEN Center for Computational Science, Japan. He received the B.E. degree in navigation from Dalian Maritime University, China, in 2005, the M.E. degree in traffic information engineering and control from Shanghai Maritime University, China, in 2007, the Ph.D. from Tokyo Institute of Technology, Japan, in 2020. His research focuses on High-performance Computation applications such as image processing and machine learning. 講演資料 PDF: 2,747KB
16:10- 16:20	休憩


16:20- 16:40	画像・言語モデル学習における最適化手法の分布外汎化に対する網羅検証長沼大樹（モントリオール大学・Mila　博士後期課程学生）
	概要機械学習の分野では、最適化手法の選択が分布内汎化にどのような影響を与えるかが研究されてきた。しかし、最適化手法の分布外汎化能力については、実用上非常に重要であるのにも関わらず、まだ未解明である。本発表では、ERMとIRM(Invariant Risk Minimization)で、異なる種類のデータシフトの下で、一般的な最適化手法の網羅的な性能比較を行う。広範囲のハイパーパラメータを探索し、25,000以上のモデルの分類精度（分布内、分布外）を調べた。結果として、OOD汎化のための学習アルゴリズムであるIRMを用いた場合、SGD 系のOptimizerは、相関を線形に補正するのに対し、Adamなどの適応的最適化手法は、In-Distributionの性能にフィッティングしやすいことがわかった。この結果は、適応的最適化手法の分布内テスト精度が、必ずしも分布外テスト精度の信頼できる指標ではない可能性を示唆している。
	略歴 2017 年東京工業大学工学部情報工学科卒業、2019 年同大学大学院修士課程修了、2020 年よりモントリオール大学及び Mila - Quebec Artificial Intelligence Institute 博士課程在籍。途中，IBM 東京基礎研究所学生研究員（2017～2018 年）、理化学研究所AIP 実習生（2018 年）を経て、現在に至る。高性能計算，深層学習の汎化と最適化に関する研究に従事。
16:40- 17:00	人工画像を用いたVision Transformerの超大規模事前学習横田理央（東京工業大学学術国際情報センター　准教授）
	概要巨大なTransformerの事前学習は画像処理分野においてもベンチマークの上位を独占しており、今後その性能はさらに向上することが予想される。しかし、このような超大規模事前学習にはJFT-300MやJFT-3Bのような超大規模データセットが必要であり、Googleはこれらのデータセットを公開していないため再現が困難となっている。一方、Fractalなどの人工画像を事前学習に用いることでImageNetなどの自然画像で事前学習を行った場合とほぼ同等のファインチューニング精度が得られることが示されている。ただし、Fractalによる事前学習は現時点ではImageNet-1k規模の事前学習でしかその精度は確認できていない。本研究課題では、Fractal画像による事前学習をImageNet-21k規模にまで拡張することで、人工画像によって大規模事前学習の精度をどこまで向上できるかを検証した。
	略歴 2009年　慶應義塾大学　博士（工学）取得 2009年　ブリストル大学　博士研究員 2010年　ボストン大学　博士研究員 2011年　アブドゥラ国王科学技術大学　常勤研究員 2015年　東京工業大学　学術国際情報センター　准教授講演資料 PDF: 7,650KB
17:00- 17:20	High Performance IO for Large Scale Deep Learning Truong Thao Nguyen（産業技術総合研究所　Researcher）
	概要 Stochastic gradient descent (SGD), the most prevalent training algorithm for Deep Learning (DL), iterates through the entire data set in each training epoch processing data samples in a random access fashion. Scientists have performed a great deal of work to optimize the computational performance of deep learning frameworks. However, the same cannot be said for I/O performance. The state-of-the-art approach to distributed SGD in HPC environments is to replicate the entire dataset to node's local SSDs. However, due to rapidly growing data set sizes this approach has become increasingly infeasible. Surprisingly, the question of why and to what extent random access is required has not received a lot of attention in the literature. In this work, we revisit data shuffling in DL workloads and investigate the viability of partitioning the dataset among workers and performing only a partial distributed exchange of samples in each training epoch. we plan to demonstrate that in practice (i) validation accuracy can be maintained and (ii) significantly reduce the IO time through extensive experiments on ABCI, especially for large-scale training, e.g. 1000s of GPUs.
	略歴 2018: Received the Ph.D. in Informatics from the Graduate University for Advanced Studies, Japan. 2018 - present: researcher at AIST-Tokyo Tech Real World Big-Data Computation Open Innovation Laboratory (RWBC-OIL), National Institute of Advanced Industrial Science and Technology (AIST) 講演資料 PDF: 1,510KB
17:20- 17:30	クロージング

PageTop

セミナー情報

【第54回AIセミナー】「ABCI グランドチャレンジ 成果報告会」

プログラム

【第54回AIセミナー】「ABCI グランドチャレンジ成果報告会」