AIスタートアップ

セミナー情報

【第73回AIセミナー】「ABCI グランドチャレンジ成果報告会」

終了しました。

AI橋渡しクラウド（AI Bridging Cloud Infrastructure、ABCI) は、国立研究開発法人産業技術総合研究所が構築・運用する、世界最大規模の人工知能処理向け計算インフラストラクチャです。2018年8月に本格運用を開始し、2021年5月には最新のGPUノード等を追加して「ABCI 2.0」にアップグレードを行っています。
ABCIの狙いは、合算で851.5ペタフロップス（半精度）という膨大なAI処理能力を研究者や開発者に提供することにより、我が国のAI／ビッグデータ処理の進歩を加速することです。産総研では、ABCIの莫大な演算能力によりはじめて可能になる人工知能分野の最重要課題や人工知能やビッグデータを活用した社会的重要課題への挑戦を支援するため、「ABCIグランドチャレンジ」プログラムを実施しています。本プログラムは、ABCIがもつ最大計算ノード数、計算ノード（A）においては120ノード（960GPU）、計算ノード（V）においては1,088ノード（4,352GPU）を最大24時間、1研究グループでの占有利用ができる公募型チャレンジプログラムです。ABCIグランドチャレンジ2023では、計算ノード (V) 136ノード（544GPU）を最大1週間占有利用できるクラスも受け付けました。
本セミナーでは、ABCIグランドチャレンジ2022の第3回とABCIグランドチャレンジ2023の第1回と第2回の参加者を講師としてお招きして、各チームでのチャレンジの内容や成果、今後の取り組みについてご紹介いただきます。

　※都合により、当初のご案内から講演順が変更になっております。

　以下は、変更後のプログラムとなります。ご了承いただきますようお願いいたします。

名称	【第73回AIセミナー】「ABCI グランドチャレンジ成果報告会」
日時	2024年1月11日（木） 15:10 - 17:00
受付時間	接続可能時間：15:00 -
場所	Zoomウェビナーによるオンライン開催 ※お申し込み後に自動配信されるメールにて参加URLをご案内いたします。
定員	500
参加費用	無料
連絡先	人工知能セミナー窓口
注意事項・定員になり次第締切ります。・産総研は、お送りいただいた情報をセミナー運営以外の目的には使用しません。・講演の録画やアップロードはご遠慮ください。

プログラム

15:10 - 15:20	ABCI　グランドチャレンジ 2022 & 2023 概要谷村勇輔（産業技術総合研究所）


15:20 - 15:40	日本語BigBirdの構築河原大輔（早稲田大学　教授）
	概要日本語の言語理解タスクを解くときに、日本語で事前学習されたモデルをファインチューニングすることによって高い性能が得られる。言語理解タスクのほとんどは分類問題として定式化できるため、事前学習済みのエンコーダモデルが用いられることが多い。日本語のエンコーダモデルはいくつか公開されているが、ほとんどのモデルにおいて最大入力長が512トークン以下であり、長い入力長のタスクに対して適切な学習を行うことができない。この問題を解決するために日本語BigBirdの事前学習をABCIで行った。BigBirdは最大で4,096トークンの入力長を扱うことができるエンコーダモデルである。日本語WikipediaやCommon Crawlから抽出された日本語コーパスを用いて本モデルを学習し、日本語言語理解ベンチマークJGLUEで評価した。学習したモデルはHugging Face Hubにて公開している。
	略歴 1997年京都大学工学部電気工学第二学科卒業。1999年同大学院修士課程修了。2002年同大学院博士課程単位取得認定退学。東京大学大学院情報理工学系研究科学術研究支援員、独立行政法人情報通信研究機構主任研究員、京都大学大学院情報学研究科准教授を経て、2020年より早稲田大学基幹理工学部情報通信学科教授。自然言語処理、知識処理の研究に従事。博士(情報学)。文部科学大臣表彰科学技術賞(研究部門)、言語処理学会20周年記念論文賞等を受賞。講演資料 20240111_ABCI_dk_final
15:40 - 16:00	学習済みText to Image拡散モデルの動画生成タスクへのfinetuning 早川顕生（株式会社ソニーリサーチ　リサーチサイエンティスト）
	概要 ABCIの大規模インフラを活用し、学習済みtext-to-image 拡散モデルをベースとして、テキストに沿った動画が生成可能なモデルに拡張するためのファインチューンを行った。動画フレームの時刻を扱うエンベディング方法やフレーム間の情報を取り扱うためのアテンション機構、動画学習時のサンプリング方法について効果的な動画生成のための方法について実験的に検証した内容を報告する。
	略歴 2018年3月東京大学大学院情報理工学系研究科修士課程修了 2018年4月ソニーグループ株式会社入社 2023年4月株式会社ソニリサーチ　出向大規模分散学習や画像生成モデルに関する研究開発に従事。
16:00 - 16:20	分布外汎化・較正性能向上のための事前学習済みモデルの大規模な比較実験幡谷龍一郎（理研AIP　特別研究員）
	概要深層学習モデルを実タスクで用いるためには、学習データとは異なる分布からのデータに対処できること（分布外汎化）や、その際の予測の不確実性を推定できること（較正）が不可欠である。本研究では、転移学習において事前学習済みモデルの選択がこれらの能力に与える影響を、グランドチャレンジを利用することによって網羅的に調査した。その結果、分布外汎化や較正の能力と事前学習済みモデルのパラメータ数、事前学習データの大きさの間に、スケーリング則のような関係があることを見いだした。さらに、一部の事前学習方法が事前学習タスクに過適合しており、分布外汎化・較正の性能を損ねることも分かった。これらの結果は基盤モデルに代表される、さまざまなタスクへの転移を前提とした巨大モデルの開発への指針となる。
	略歴 2022年9月東京大学大学院情報理工学系研究科創造情報学専攻修了 2022年10月〜2023年10月　理化学研究所情報統合本部先端データサイエンスプロジェクト特別研究員 2023年11月〜　理化学研究所革新知能統合研究センター高次元因果解析チーム特別研究員講演資料 20241011
16:20 - 16:40	量子化学計算の大規模厳密解法実行高虹（富士通研究所コンピューティング研究所　研究員）
	概要量子化学計算は量子コンピュータの利用が期待される領域であり、ノイズ有り量子コンピュータでも計算可能なVariational Quantum Eigensolver (VQE)アルゴリズムの研究が行われている。量子化学計算では対象分子の各原子の三次元座標を入力することで、その分子の保有するエネルギー量を計算することが可能である。このエネルギー量の厳密解を得るFull CIアルゴリズムはVQE等の精度指標として使われるため、精度向上や技術の発展において非常に重要である。一方で、Full CIは計算量とメモリのオーダーがO(n!)であるため、分子サイズが大きくなると小規模の計算基盤では算出することが困難であり、また算出できないことにより大きな量子ビット演算によるVQEの精度比較や古典アルゴリズムに対する優位性等を論じる事が難しくなる。本研究では量子化学計算の大規模なFull CIを用いて世界発となる問題規模の分子を対象に厳密解を算出し、量子化学計算における精度指標を打ち立て、量子シミュレータ及び量子実機における量子計算の発展を導く事を目的とする。
	略歴 2009年7月に中国石油大学(北京)を卒業し、2012年3月群馬大学大学院工学研究科を卒業しました。 2012年4月に富士通研究所に入社し、現在は大規模化の量子化学計算を研究していました。 2018年情報処理学会業績賞を受賞しました。
16:40 - 17:00	日本語大規模言語モデル学習の三点スケールアップとオープンソース化坂口慶祐（東北大学　准教授）
	概要言語モデルは自然言語処理の技術的最先端でおり、Meta社などが大規模な言語モデルを学術研究可能な形で公開している。しかし公開されているいずれの大規模言語モデルも日本語は主な学習データとして含まれておらず、日本語言語処理の発展の妨げとなっている。日本語を主な学習データとして学習した言語モデルも複数公開されているが、共通した問題として1)モデルの総パラメータ数、2)学習時に使われた計算総量、 3)日本語学習データの量が最先端の自然言語処理研究を行う基盤として不十分である。本課題では、日本語最大規模(4000億トークン)のデータを用いて、大規模日本語言語モデル(100億パラメータ)の学習を目指した。　得られた成果の一つとして、日本語を中心として英語やソースコードにも対応したTokenizerモデルを新たに開発した。またV100（FP16）による大規模言語モデルの訓練で頻発するLossの発散への対応に関する知見を得た。例えば大規模言語モデルの活性化関数として広く使われているGeLUとFP16は相性が悪く、ReLUを代わりに使うことでLossの発散を防ぎ学習を安定させる効果があることを示した。
	略歴東北大学大学院情報科学研究科准教授。専門は自然言語処理。 2005年早稲田大学第一文学部哲学専修卒業。2006年英国University of Essex 心理神経言語学修士課程卒業。理化学研究所脳科学総合研究センター、日本IBMシステムズエンジニアリング社を経て、2013年奈良先端科学技術大学院大学情報科学研究科修士課程卒業、2018年米国Johns Hopkins UniversityにてPh.D. (Computer Science) を取得。米国Allen Institute for Artificial Intelligence（AI2）リサーチサイエンティストを経て、2022年より現職。
17:00 -	クロージング

PageTop

15:10 - 15:20	ABCI　グランドチャレンジ 2022 & 2023 概要谷村勇輔（産業技術総合研究所）


15:20 - 15:40	日本語BigBirdの構築河原大輔（早稲田大学　教授）
	概要日本語の言語理解タスクを解くときに、日本語で事前学習されたモデルをファインチューニングすることによって高い性能が得られる。言語理解タスクのほとんどは分類問題として定式化できるため、事前学習済みのエンコーダモデルが用いられることが多い。日本語のエンコーダモデルはいくつか公開されているが、ほとんどのモデルにおいて最大入力長が512トークン以下であり、長い入力長のタスクに対して適切な学習を行うことができない。この問題を解決するために日本語BigBirdの事前学習をABCIで行った。BigBirdは最大で4,096トークンの入力長を扱うことができるエンコーダモデルである。日本語WikipediaやCommon Crawlから抽出された日本語コーパスを用いて本モデルを学習し、日本語言語理解ベンチマークJGLUEで評価した。学習したモデルはHugging Face Hubにて公開している。
	略歴 1997年京都大学工学部電気工学第二学科卒業。1999年同大学院修士課程修了。2002年同大学院博士課程単位取得認定退学。東京大学大学院情報理工学系研究科学術研究支援員、独立行政法人情報通信研究機構主任研究員、京都大学大学院情報学研究科准教授を経て、2020年より早稲田大学基幹理工学部情報通信学科教授。自然言語処理、知識処理の研究に従事。博士(情報学)。文部科学大臣表彰科学技術賞(研究部門)、言語処理学会20周年記念論文賞等を受賞。講演資料 20240111_ABCI_dk_final
15:40 - 16:00	学習済みText to Image拡散モデルの動画生成タスクへのfinetuning 早川顕生（株式会社ソニーリサーチ　リサーチサイエンティスト）
	概要 ABCIの大規模インフラを活用し、学習済みtext-to-image 拡散モデルをベースとして、テキストに沿った動画が生成可能なモデルに拡張するためのファインチューンを行った。動画フレームの時刻を扱うエンベディング方法やフレーム間の情報を取り扱うためのアテンション機構、動画学習時のサンプリング方法について効果的な動画生成のための方法について実験的に検証した内容を報告する。
	略歴 2018年3月東京大学大学院情報理工学系研究科修士課程修了 2018年4月ソニーグループ株式会社入社 2023年4月株式会社ソニリサーチ　出向大規模分散学習や画像生成モデルに関する研究開発に従事。
16:00 - 16:20	分布外汎化・較正性能向上のための事前学習済みモデルの大規模な比較実験幡谷龍一郎（理研AIP　特別研究員）
	概要深層学習モデルを実タスクで用いるためには、学習データとは異なる分布からのデータに対処できること（分布外汎化）や、その際の予測の不確実性を推定できること（較正）が不可欠である。本研究では、転移学習において事前学習済みモデルの選択がこれらの能力に与える影響を、グランドチャレンジを利用することによって網羅的に調査した。その結果、分布外汎化や較正の能力と事前学習済みモデルのパラメータ数、事前学習データの大きさの間に、スケーリング則のような関係があることを見いだした。さらに、一部の事前学習方法が事前学習タスクに過適合しており、分布外汎化・較正の性能を損ねることも分かった。これらの結果は基盤モデルに代表される、さまざまなタスクへの転移を前提とした巨大モデルの開発への指針となる。
	略歴 2022年9月東京大学大学院情報理工学系研究科創造情報学専攻修了 2022年10月〜2023年10月　理化学研究所情報統合本部先端データサイエンスプロジェクト特別研究員 2023年11月〜　理化学研究所革新知能統合研究センター高次元因果解析チーム特別研究員講演資料 20241011
16:20 - 16:40	量子化学計算の大規模厳密解法実行高虹（富士通研究所コンピューティング研究所　研究員）
	概要量子化学計算は量子コンピュータの利用が期待される領域であり、ノイズ有り量子コンピュータでも計算可能なVariational Quantum Eigensolver (VQE)アルゴリズムの研究が行われている。量子化学計算では対象分子の各原子の三次元座標を入力することで、その分子の保有するエネルギー量を計算することが可能である。このエネルギー量の厳密解を得るFull CIアルゴリズムはVQE等の精度指標として使われるため、精度向上や技術の発展において非常に重要である。一方で、Full CIは計算量とメモリのオーダーがO(n!)であるため、分子サイズが大きくなると小規模の計算基盤では算出することが困難であり、また算出できないことにより大きな量子ビット演算によるVQEの精度比較や古典アルゴリズムに対する優位性等を論じる事が難しくなる。本研究では量子化学計算の大規模なFull CIを用いて世界発となる問題規模の分子を対象に厳密解を算出し、量子化学計算における精度指標を打ち立て、量子シミュレータ及び量子実機における量子計算の発展を導く事を目的とする。
	略歴 2009年7月に中国石油大学(北京)を卒業し、2012年3月群馬大学大学院工学研究科を卒業しました。 2012年4月に富士通研究所に入社し、現在は大規模化の量子化学計算を研究していました。 2018年情報処理学会業績賞を受賞しました。
16:40 - 17:00	日本語大規模言語モデル学習の三点スケールアップとオープンソース化坂口慶祐（東北大学　准教授）
	概要言語モデルは自然言語処理の技術的最先端でおり、Meta社などが大規模な言語モデルを学術研究可能な形で公開している。しかし公開されているいずれの大規模言語モデルも日本語は主な学習データとして含まれておらず、日本語言語処理の発展の妨げとなっている。日本語を主な学習データとして学習した言語モデルも複数公開されているが、共通した問題として1)モデルの総パラメータ数、2)学習時に使われた計算総量、 3)日本語学習データの量が最先端の自然言語処理研究を行う基盤として不十分である。本課題では、日本語最大規模(4000億トークン)のデータを用いて、大規模日本語言語モデル(100億パラメータ)の学習を目指した。　得られた成果の一つとして、日本語を中心として英語やソースコードにも対応したTokenizerモデルを新たに開発した。またV100（FP16）による大規模言語モデルの訓練で頻発するLossの発散への対応に関する知見を得た。例えば大規模言語モデルの活性化関数として広く使われているGeLUとFP16は相性が悪く、ReLUを代わりに使うことでLossの発散を防ぎ学習を安定させる効果があることを示した。
	略歴東北大学大学院情報科学研究科准教授。専門は自然言語処理。 2005年早稲田大学第一文学部哲学専修卒業。2006年英国University of Essex 心理神経言語学修士課程卒業。理化学研究所脳科学総合研究センター、日本IBMシステムズエンジニアリング社を経て、2013年奈良先端科学技術大学院大学情報科学研究科修士課程卒業、2018年米国Johns Hopkins UniversityにてPh.D. (Computer Science) を取得。米国Allen Institute for Artificial Intelligence（AI2）リサーチサイエンティストを経て、2022年より現職。
17:00 -	クロージング

セミナー情報

【第73回AIセミナー】「ABCI グランドチャレンジ 成果報告会」

プログラム

【第73回AIセミナー】「ABCI グランドチャレンジ成果報告会」