セミナー情報

【第63回AIセミナー】「大規模言語モデル時代の自然言語処理研究の最前線」

終了しました。

深層学習技術の発展に伴い、これまでに不可能と思われてきた、様々なタスクを計算機システムで解くことができるようになってきました。自然言語処理の分野においても、大規模なデータを用いて事前に学習を行った大規模モデル（Foundation Model）が、様々なタスクで、広く利用されております。その一方で、大規模言語モデルだけではできない課題も、明らかになりつつあり、マルチモーダル情報や常識的知識の組み合わせなどを通して、課題を解決する様々な取り組みが始まっております。そのような状況を踏まえ、本AIセミナーでは、新進気鋭の２名の講師をお招きし、大規模言語モデル時代の自然言語処理研究の最前線について、解説して頂きます。

名称	【第63回AIセミナー】「大規模言語モデル時代の自然言語処理研究の最前線」
日時	2023年1月23日（月） 15:00 - 17:00
受付時間	接続可能時間：14:50-17:00
場所	Zoomウェビナーによるオンライン開催 ※お申し込み後に自動配信されるメールにて参加URLをご案内いたします。
定員	500
参加費用	無料
連絡先	人工知能セミナー窓口
注意事項・定員になり次第締切ります。・産総研は、お送りいただいた情報をセミナー運営以外の目的には使用しません。・講演の録画やアップロードはご遠慮ください。

プログラム

15:00 - 16:00	専門知識/常識知識と自然言語処理モデルの融合石垣達也（産業総合技術研究所人工知能研究センター知識情報研究チーム　研究員）
	概要 BERT、GPT、BARTなど大規模なテキストから学習された事前学習モデルが自然言語処理において活用されています。これらのモデルは専門分野でのテキストを用いて事前学習することで、医療、材料科学などの専門分野のテキストに対しより高性能な処理を実現できることが知られています。本講演では、まず事前学習モデルに専門知識を獲得させる近年の研究について概観し、産総研が取り組んでいる日本語の分野特化型BERTの開発について解説します。また、レーシングゲームに関する常識知識を活用しながらリアルタイムにゲーム実況を生成するマルチモーダル実況生成モデルについてもご紹介します。
	略歴 2019年東京工業大学総合理工学研究科博士(工学)。同年、同大学科学技術創成研究院研究員。2020年4月より産総研特別研究員、同年10月より同研究員、現在に至る。専門は自然言語処理。特に自動言語生成と自動要約。言語処理学会、情報処理学会各会員。
16:00 - 17:00	Large Language Models: What will happen next? 坂口慶祐（東北大学　准教授）
	概要近年の自然言語処理の進歩は、BERTやGPT-3を始めとした大規模言語モデル(Large Language Models) によるところが大きい。機械翻訳や自動要約、文書校正、対話など、一部のタスクではビジネスプロダクトレベルに到達しており、自然言語処理が本格的に実用化フェーズに入ってきたことを示しています。大規模言語モデルの技術的なコアとなるのはSelf-attentionメカニズムを用いたEncoder-Decoder (Transformers) であり、その燃料となっているのは大規模な言語資源（ビッグデータ）です。本発表では、大規模言語モデルについての概説とこれまでの成果、そして今後の課題について、自身の最近の取り組みをまじえながら紹介します。
	略歴東北大学大学院情報科学研究科准教授。専門は自然言語処理。2005年早稲田大学第一文学部哲学専修卒業。2006年英国University of Essex 心理神経言語学修士課程卒業。理化学研究所脳科学総合研究センター、日本IBMシステムズエンジニアリング社を経て、2013年奈良先端科学技術大学院大学情報科学研究科修士課程卒業、2018年米国Johns Hopkins UniversityにてPh.D. (Computer Science) を取得。米国Allen Institute for Artificial Intelligence（AI2）リサーチサイエンティストを経て、2022年より現職。