強化学習入門
～基本理論と深層強化学習、
　　　ソフトコンピューティングによる展開～

　S200207K

開催日時：2020年2月7日（金） 13:00-17:00

会　　場：オームビル（東京都千代田区神田錦町3‐1）

受 講 料：お1人様受講の場合　43,000円[税別]／1名

　　　　　1口でお申込の場合　56,000円[税別]／1口（3名まで受講可能）

　渡邊 俊彦　氏　

　　　　　　大阪電気通信大学　工学部　電気電子工学科　
　　　　　　　　　　　　　　　　　　　教授 　博士（工学）　



　　■ご略歴：
　　　　大阪府立大学大学院工学研究科博士前期課程修了(1990年)
　　　　株式会社神戸製鋼所 電子技術研究所(1990年) 主に鉄鋼プロセスにおいて、
　　　　制御システム、生産システムの人工知能、ニューラルネットワーク、ファジィ理論、
　　　　データマイニング等を活用した知能化の応用研究に従事。
　　　　博士(工学) (2000年)
　　　　大阪電気通信大学 工学部 第一部電子工学科 助教授(2001年)
　　　　大阪電気通信大学 工学部 電気電子工学科 教授(2011年)

　　■専門および得意な分野・研究：
　　　　計算知能工学、ソフトコンピューティング、コンピュータビジョン

　　■はじめに：
　　　　　AI(人工知能)の応用が今後益々重要な課題となってきます。そのきっかけとなったのが、
　　　深層学習の成功とAlpha GO（コンピュータ）が囲碁のプロに勝利したことです。
　　　　　本講座では、このような技術の流れを決定づけたAlpha GOでも中心的役割を担う技術と
　　　して導入されている強化学習の基本理論と深層強化学習、実際の応用に繋げる上での有望な
　　　技術としてソフトコンピューティングによる展開を学んでいきます。

　　■受講対象者：
　　　　・人工知能技術のうち今後特に重要な強化学習に興味のある方
　　　　・強化学習技術の応用を検討されている方

　　■必要な予備知識：
　　　　・大学初年次程度の数学の知識。
　　　　・コンピュータおよびコンピュータプログラムの基礎知識。

　　■本セミナーで習得できること：
　　　　・強化学習の基本理論と基礎技術の習得
　　　　・深層学習の基本理論と基礎技術の習得
　　　　・強化学習の概念の理解と他の技術へ応用できる応用力の習得

　　1.　強化学習の理論
　　　　1)　強化学習の背景
　　　　　a)　その歴史と制御技術との関係
　　　　　b)　n本腕バンディッド
　　　　2)　機械学習としての強化学習
　　　　　a)　機械学習の概要
　　　　　b)　教師付学習、自己組織化、強化学習
　　　　3)　エージェントモデル
　　　　　a)　環境と報酬
　　　　　b)　探索と知識利用の実現
　　　　　c)　行動モデル
　　　　　d)　イプシロンGreedy
　　　　　e)　ボルツマン分布の利用
　　　　　f)　マルチエージェント
　　　　4)　マルコフ決定過程
　　　　5)　価値関数
　　　　　a)　行動価値関数
　　　　　b)　状態価値関数
　　　　6)　報酬と部分報酬
　　　　　a)　期待報酬
　　　　7)　モンテカルロ法
　　　　8)　動的計画法との関係
　　　　9)　TD学習
　　　　　a)　Q学習
　　　　　b)　SARSA学習
　　　　　c)　適格度トレース
　　　10)　Profit Sharing
　　　11)　Policy-based method
　　　12)　Actor-Critic

　　2.　深層強化学習
　　　　1)　ニューラルネットワークの基礎
　　　　　a)　ニューロンモデル
　　　　　b)　パーセプトロン
　　　　2)　多層パーセプトロン
　　　　3)　モジュラーニューラルネットワーク
　　　　4)　深層学習
　　　　5)　Deep Q-Network(DQN)
　　　　6)　Pythonによる実装

　　3.　ソフトコンピューティングによる展開
　　　　1)　強化学習システム実装における課題
　　　　　a)　状態表現における次元の呪い
　　　　　b)　試行回数の低減
　　　　2)　ファジィ理論の基礎
　　　　3)　ファジィQ-学習
　　　　4)　階層型強化学習
　　　　　a)　タスクの分割
　　　　　b)　追跡問題の実装
　　　　5)　ロバスト推定技術への応用
　　　　　a)　コンピュータビジョンのためのモデリング
　　　　　b)　強化学習の応用