☆☆☆Web配信セミナー☆☆☆
『ディープラーニングの推論パフォーマンスを改善する
モデル軽量化技術の基礎と最新動向』
S220711AW
☆☆☆本セミナーは、Zoomを使用して、行います。☆☆☆
開催日時:2022年7月11日(月)11:00-17:00
受 講 料:お1人様受講の場合 51,700円[税込]/1名
1口でお申込の場合 62,700円[税込]/1口(3名まで受講可能)
★本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、
お申込み前にZoomのテストミーティング(http://zoom.us/test)にアクセスできることをご確認下さい。
★インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。
講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
★受講中の録音・撮影、スクリーンキャプチャ等は固くお断りいたします。
山本康平(やまもとこうへい) 氏
沖電気工業株式会社 イノベーション推進センター AI技術研究開発部
<略歴、等> |
2014年 中央大学大学院 理工学研究科 博士前期課程修了。
2014年 沖電気工業株式会社入社、機械学習応用の研究開発に従事。
現在に至る
訳書(共訳)「Pythonによる機械学習―予測解析の必須テクニック―」共立出版(2019) |
|
ディープラーニングのモデルは、その他の機械学習モデルと比べて推論処理に必要なメモリ使用量・演算量が膨大であり、さらにそれらを多く必要とするモデルほど性能(認識精度など)が良くなる傾向があります。一般に、メモリ使用量や演算量は、処理速度・消費電力・部品コスト等に直接関わるため、なるべく小さく抑えたいところです。そのようなニーズに対し、ディープラーニングモデルの性能をできる限り維持しつつメモリ使用量・演算量を削減する軽量化技術が登場し、研究が進められています。
本講演では、画像認識問題を題材として、まず軽量化の観点からディープラーニングの基礎を説明した後、様々な軽量化技術のテクニックを紹介していきます。各テクニックに関しては、AI系の有力国際会議(CVPR、ICLRなど)やプレプリントサーバ(ArXiv)に掲載されている最新技術を主に扱い、理論的な厳密さよりもイメージやコンセプト重視でわかりやすくご説明します。
|
1 ディープラーニングの基礎
1.1 データ表現と問題設定
1.2 全結合ネットワークモデル
1.3 畳み込みネットワークモデル
1.4 代表的なモデルとその構成要素
2 モデルプルーニング
2.1 非構造化プルーニング
・Magnitude-based Pruning / Lottery Ticket Hypothesis / Weight Rewinding
/ Learning-rate Rewinding
2.2 構造化プルーニング
・L1norm-based Pruning / ThiNet / PCAS
3 ネットワーク量子化
3.1 二値化
・XNOR-Net / Bi-Real Net
3.2 一様量子化 (量子化学習)
・Integer Arithmetic Only Inference / PACT / Learned Step-size Quantization
3.3 非一様量子化
・LogNet / Learnable Companding Quantization
3.4 一様量子化 (事後量子化)
・Channel Equalization / ACIQ / OCS
4 軽量アーキテクチャ設計
4.1 分岐・合流接続の工夫
・PeleeNet / CSPNet
4.2 畳み込みの要素分解
・MobileNet-V1 / MobileNet-V2
4.3 構造の自動探索
・FBNet
5 その他の軽量化技術
5.1 重み共有
・Product Quantization
5.2 知識蒸留
・Few Sample Knowledge Distillation
5.3 低ランク近似
・Compression-aware Training
6 まとめ