Theanoを使用したPythonプログラミング実装例を紹介します。
Theanoを使った畳み込みニューラルネットワーク(CNN)の実装についての解説です。
「Deep Learning Tutorial」に沿って、LeNetをベースにMNISTの手書き文字認識を行っています。
・LeNet
・実装
・畳み込み層
・活性化関数
・プーリング層
・全結合層
・ロス関数
・LeNet
・データセット
・層の定義
・学習(評価)
→Qiita →Theanoを使ってdeep learningしてみた
「Deep Learning Tutorial」の畳み込みニューラルネットワーク実装として、MNISTの手書き数字認識実装を行っています。
・畳み込みニューラルネットワーク
・畳み込み層
・プーリング層
・LeNetConvPoolLayerクラス
・2つめの畳み込み層とプーリング層
・最後の多層パーセプトロン
・確率的勾配降下法によるモデル訓練
・実行時間の計測
・フィルタと畳み込み層の出力の可視化
→人工知能に関する断創録 →Theanoによる畳み込みニューラルネットワークの実装 (1)
Theanoによる「自己符号化器」実装をまとめられています。
「自己符号化器(オートエンコーダ)」とは、機械学習において、ニューラルネットワークを使用した次元圧縮のためのアルゴリズムのことです。情報量を小さくした特徴表現を獲得するために使用されます。
・自己符号化器
・重み共有の実装
・符号化・復号化処理の実装
・交差エントロピー誤差関数の実装
・モデル学習の実装
・実験結果
・重みの可視化
・入力画像の再構築
→人工知能に関する断創録 →Theanoによる自己符号化器の実装
積層自己符号化器の実装について解説しています。
「積層自己符号化器(ディープ・オートエンコーダ)」とは、2層以上の中間層を構築する方法です。「中間層1層のみで作る」→「出力層を取り除く」→「中間層を入力層と見なして、もう1層積み上げる」の手順を繰り返して構築します。
・積層自己符号化器の2つの側面
・ネットワークの構成・重みの共有
・pre-training関数の作成
・fine-tuning関数の作成
・積層自己符号化器の訓練と評価
・ネットワークの構築
・pre-training
・fine-tuning
→人工知能に関する断創録 →Theanoによる積層自己符号化器の実装
Theanoチュートリアル「Recurrent Neural Networks Tutorial, Part 2 – Implementing a RNN with Python, Numpy and Theano」に沿って、RNN(再帰型ニューラルネットワーク)実装方法について解説しています。
・言語モデル
・データの訓練と前処理
・RNN を構築する
・初期化
・フォワード・プロパゲーション (Forward Propagation)
・損失を計算する
・SGD と Backpropagation Through Time (BPTT) により RNN を訓練する
・勾配チェック
・SGD 実装
・ネットワークを Theano と GPU で訓練する
・テキストを生成する
→クラスキャット →RNN →Recurrent Neural Networks (2) – Python, Numpy と Theano による RNN の実装 (翻訳/要約)
OSS×Cloud ACCESS RANKING