セミナー　Web配信　Zoom　大規模事前学習　言語モデル　Word2vec　ELMo　BERT　自然言語処理　ChatGPT　GPT-4　再帰型ニューラルネットワーク　Long short-term memory　LSTM　系列変換モデル　seq2seq　エンコーダ　デコーダ　ELMo　Transformer　LLM　奈良先端科学技術大学院大学　上垣外英剛

開催日時：2023年9月14日（木）13:00-15:30
受講料：お1人様受講の場合　51,700円[税込]／1名
　　　　　1口でお申込の場合　66,000円[税込]／1口（3名まで受講可能）

　★本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、
　お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。

　★インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。
　講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。

　★受講中の録音・撮影等は固くお断りいたします。

＜略歴＞	2012年4月～2014年3月　東京工業大学大学院　総合理工学研究科　知能システム科学専攻　修士課程　2014年4月～2017年3月　東京工業大学大学院　総合理工学研究科　知能システム科学専攻　博士課程　2017年4月～2018年3月 NTT コミュニケーション科学基礎研究所リサーチアソシエイト　2018年4月～2022年3月東京工業大学　科学技術創成研究院　助教　2022年4月～現在　奈良先端科学技術大学院大学　先端科学技術研究科　自然言語処理学研究室（渡辺研究室）　准教授
＜学会委員＞	2022年4月～現在　情報処理学会　自然言語処理研究会　運営委員　2021年3月～現在　自然言語処理、編集委員
＜主な受賞歴＞	2022年3月　2021年度論文賞, Effectiveness of Syntactic Dependency Information for Higher-Order Syntactic Attention Network, 言語処理学会　2022年3月　2021年度論文賞, 数値気象予報からの天気予報コメントの自動生成, 言語処理学会　2022年3月　第28回年次大会優秀賞, 知識グラフ埋め込みにおける負例サンプリング損失の分析, 言語処理学会　2022年3月　第28回年次大会リーガルフォース賞, 否定の理解へのprompt-based finetuningの効果, 言語処理学会

　セミナーの概要

　Word2vecの登場以降ELMo，BERTといった事前学習済みモデルの発展により自然言語処理における各タスクの精度は飛躍的に向上した．
　本講座ではそれらの発展を順に説明し，ChatGPTやGPT-4といった産業上重要な位置を占めると考えられるモデルの歴史的な位置づけを把握することを助ける．また現在の大規模事前学習済み言語モデルとっての残された課題についても紹介する．

　講義項目

　1　本日紹介する内容

　2　単語分散表現とその利用

　　2.1　word2vec
　　2.2　word2vecの派生
　　2.3　言語モデル
　　　2.3.1　再帰型ニューラルネットワーク
　　　2.3.2　Long short-term memory（LSTM）
　　2.4　系列変換モデル（seq2seq）
　　　2.4.1　エンコーダ・デコーダ
　　　2.4.2　注意付きエンコーダ・デコーダ

『大規模事前学習済み言語モデルの進展と課題』

上垣外英剛（かみがいとひでたか）　氏

奈良先端科学技術大学院大学　先端科学技術研究科自然言語処理学研究室（渡辺研究室）　准教授（博士（工学））

1　本日紹介する内容

2　単語分散表現とその利用

3　事前学習済み言語モデル

3.1　ELMo
　　3.2　Transformer
　　3.3　BERT
　　3.4　BERTの派生
　　3.5　系列変換モデル

4　大規模事前学習済み言語モデル（LLM）

　5　最新の動向

　6　残された課題

『大規模事前学習済み言語モデルの進展と課題』

上垣外英剛（かみがいとひでたか） 氏

奈良先端科学技術大学院大学 先端科学技術研究科 自然言語処理学研究室（渡辺研究室） 准教授（博士（工学））

1 本日紹介する内容

2 単語分散表現とその利用

2.1 word2vec 2.2 word2vecの派生 2.3 言語モデル 2.3.1 再帰型ニューラルネットワーク 2.3.2 Long short-term memory（LSTM） 2.4 系列変換モデル（seq2seq） 2.4.1 エンコーダ・デコーダ 2.4.2 注意付きエンコーダ・デコーダ

3 事前学習済み言語モデル

3.1 ELMo 3.2 Transformer 3.3 BERT 3.4 BERTの派生 3.5 系列変換モデル

4 大規模事前学習済み言語モデル（LLM） 5 最新の動向 6 残された課題

　上垣外英剛（かみがいとひでたか）　氏　

　　　奈良先端科学技術大学院大学　先端科学技術研究科自然言語処理学研究室（渡辺研究室）　准教授（博士（工学））

　1　本日紹介する内容

　2　単語分散表現とその利用

　3　事前学習済み言語モデル

　　3.1　ELMo
　　3.2　Transformer
　　3.3　BERT
　　3.4　BERTの派生
　　3.5　系列変換モデル

　4　大規模事前学習済み言語モデル（LLM）

　5　最新の動向

　6　残された課題