Theano参考情報④TheanoのPythonプログラミング

Theano参考情報④TheanoのPythonプログラミング

Theanoを使用したPythonプログラミング実装例を紹介します。

■MNIST手書き文字認識

概要

Theanoを使った畳み込みニューラルネットワーク(CNN)の実装についての解説です。

「Deep Learning Tutorial」に沿って、LeNetをベースにMNISTの手書き文字認識を行っています。

解説テーマ

・LeNet
・実装
・畳み込み層
・活性化関数
・プーリング層
・全結合層
・ロス関数
・LeNet
・データセット
・層の定義
・学習(評価)

ページリンク

→Qiita　→Theanoを使ってdeep learningしてみた

■MNISTの手書き数字認識

概要

「Deep Learning Tutorial」の畳み込みニューラルネットワーク実装として、MNISTの手書き数字認識実装を行っています。

解説テーマ

・畳み込みニューラルネットワーク
・畳み込み層
・プーリング層
・LeNetConvPoolLayerクラス
・2つめの畳み込み層とプーリング層
・最後の多層パーセプトロン
・確率的勾配降下法によるモデル訓練
・実行時間の計測
・フィルタと畳み込み層の出力の可視化

ページリンク

→人工知能に関する断創録　→Theanoによる畳み込みニューラルネットワークの実装 (1)

■自己符号化器

概要

Theanoによる「自己符号化器」実装をまとめられています。

「自己符号化器(オートエンコーダ)」とは、機械学習において、ニューラルネットワークを使用した次元圧縮のためのアルゴリズムのことです。情報量を小さくした特徴表現を獲得するために使用されます。

解説テーマ

・自己符号化器
・重み共有の実装
・符号化・復号化処理の実装
・交差エントロピー誤差関数の実装
・モデル学習の実装
・実験結果
・重みの可視化
・入力画像の再構築

ページリンク

→人工知能に関する断創録　→Theanoによる自己符号化器の実装

■積層自己符号化器

概要

積層自己符号化器の実装について解説しています。

「積層自己符号化器(ディープ・オートエンコーダ)」とは、2層以上の中間層を構築する方法です。「中間層1層のみで作る」→「出力層を取り除く」→「中間層を入力層と見なして、もう1層積み上げる」の手順を繰り返して構築します。

解説テーマ

・積層自己符号化器の２つの側面
・ネットワークの構成・重みの共有
・pre-training関数の作成
・fine-tuning関数の作成
・積層自己符号化器の訓練と評価
・ネットワークの構築
・pre-training
・fine-tuning

ページリンク

→人工知能に関する断創録　→Theanoによる積層自己符号化器の実装

■RNN(再帰型ニューラルネットワーク)実装

概要

Theanoチュートリアル「Recurrent Neural Networks Tutorial, Part 2 – Implementing a RNN with Python, Numpy and Theano」に沿って、RNN(再帰型ニューラルネットワーク)実装方法について解説しています。

解説テーマ

・言語モデル
・データの訓練と前処理
・RNN を構築する
・初期化
・フォワード・プロパゲーション (Forward Propagation)
・損失を計算する
・SGD と Backpropagation Through Time (BPTT) により RNN を訓練する
・勾配チェック
・SGD 実装
・ネットワークを Theano と GPU で訓練する
・テキストを生成する

ページリンク

→クラスキャット　→RNN　→Recurrent Neural Networks (2) – Python, Numpy と Theano による RNN の実装 （翻訳/要約）