基礎から学べる強化学習
～アルゴリズムの基本原理から応用例まで～


　S200326K

開催日時：2020年7月3日（金） 13:00-17:00

会　　場：オームビル（東京都千代田区神田錦町3‐1）
受 講 料：お1人様受講の場合　43,000円[税別]／1名

　　　　　1口でお申込の場合　56,000円[税別]／1口（3名まで受講可能）

　吉本 潤一郎　氏　

　　　　　　奈良先端科学技術大学院大学
　　　　　　　　先端科学技術研究科　情報科学領域　准教授


■講師ご略歴：
　1998年　　　　 　関西大学総合情報学部卒業
　2002年　　　　 　奈良先端科学技術大学院大学情報科学研究科博士後期課程修了（博士（工学）取得）
　2002-2004年　 科学技術振興機構CREST研究員
　2004-2015年 　沖縄科学技術大学院大学神経計算ユニット研究員（2010よりグループリーダに昇格）
　2015年-現在 　奈良先端科学技術大学院大学情報科学研究科（2018より先端科学技術研究科情報科学領域に改組）准教授

■ご専門および得意な分野・研究：
　ニューロコンピューティング、機械学習、計算神経科学、ニューロインフォマティクス

■本テーマ関連学協会でのご活動：
　・電子情報通信学会和文論文誌D編集副委員長
　・情報処理学会バイオ情報学研究会幹事
　・IEEE Computational Intelligence Society JAPAN CHAPTER Secretary
　　など

■はじめに：
　　強化学習とは環境とのインタラクションを通して試行錯誤的に最適な戦略や
　行動選択則を獲得する機械学習法の枠組みです。囲碁や将棋の世界では、人工
　知能が人間エキスパートを超えるようになり世の中を驚かせましたが、それには
　強化学習が大きな貢献を果たしました。では、強化学習を使えば何でもできるの
　でしょうか？それとも、強化学習にも苦手な応用分野はあるのでしょうか？
　それを知るには強化学習の基本原理を理解する必要があります。
　　本セミナーでは、簡単な例題やプログラム演習を通して、強化学習がうまく
　働く仕組みや応用例を解説するとともに、脳の情報処理との相同性や相違性を
　ご紹介したいと思います。

■受講対象者：
　・強化学習についてゼロから学びたいと考えている方
　・強化学習アルゴリズムのプログラム実装にチャレンジしたいと考えている方
　・強化学習モデルを利用して行動データの解析を試してみたいと考えている方
　・その他、本テーマに興味のある方なら、どなたでも受講可能です。

■必要な予備知識：
　　高校卒業レベルの線形代数と基礎解析の知識があると望ましいですが、
　この分野に興味のある方なら、特に予備知識は必要ありません。

■予習・復習したい方へ：おすすめ参考書
　・R.S. Sutton & A.G. Barto: Reinforcement Learning: An Introduction (Second Edition),
　　MIT Press, Cambridge, MA, 2018.
　　(http://incompleteideas.net/book/the-book-2nd.htmlよりプレプリントの閲覧が可能です)
　・牧野貴樹，澁谷長史，白川真一(編): これからの強化学習，森北出版，2016.


■本セミナーで習得できること：
　・強化学習の基礎知識と応用例
　・Pythonによる強化学習アルゴリズムの実装方法
　・強化学習モデルを利用したヒトや動物の行動解析法
　　など

　

　　1.　はじめに
　　　　1）例題から学ぶ機械学習と強化学習の位置づけ
　　　　2）強化学習の歴史

　　2． 強化学習の基礎理論
　　　　 1）マルコフ決定過程による問題の定式化とその解法
　　　　　　① マルコフ決定過程
　　　　　　② 価値反復法
　　　　　　③ 方策反復法
　　　　2）代表的な強化学習アルゴリズム
　　　　　　① モンテカルロ法
　　　　　　② TD学習法
　　　　　　③ Q学習法
　　　　　　④ SARSA法
　　　　　　⑤ モデル同定型強化学習法
　　　　3）アルゴリズム実装時に生じる諸問題とその解決法
　　　　　　① 探索と知識利用のジレンマ
　　　　　　② メタ学習
　　　　　　③ 連続空間・高次元空間への対応とDQN

　　3． プログラミング演習：Pythonによる強化学習アルゴリズムの実装
　　　　

　　4． 強化学習の応用例
　　　　1）ロボットの自動制御
　　　　2）ゲームエージェントの学習
　　　　3）脳の意思決定モデルと行動解析