Section2 LSTM RNNの課題 勾配消失 時間を遡るほど勾配が消失してしまうため、長い時系列の学習が困難だった。 勾配消失は、誤差逆伝搬法で深い層のニューラルネットワークを遡る時に見られる現象で、1より小さい値になる微分値が多数乗算されることにより引…

Section1 RNN 1-1 RNN全体像 1-1-1 RNNとは RNNとは、時系列データに対応可能なニューラルネットワークである。 1-1-2 時系列データ 時系列データとは、時間的順序を追って一定間隔ごとに観察され、 しかも相互に統計的依存関係が認められるようなデータの系…

Section4 畳み込みニューラルネットワークの概念 畳み込みニューラルネットワーク(CNN)は各次元で連続性のあるデータを扱うのに適したネットワークである。 CNNの構造の代表例は下記である。 入力層 ↓ 畳み込み層 ↓ 畳み込み層 ↓ プーリング層 ↓ 畳み込み層 …

Section2 学習率最適化手法について 学習率とは 学習を通して教師データとの誤差を最小にするネットワークを作成するために取られる手法を勾配降下法という。勾配降下法では、パラメータ更新する際の変化を規定する係数εを学習率という。 · 学習率の値が大き…

Section1 勾配消失問題 誤差逆伝搬法 誤差逆伝搬法とは、計算結果から微分を逆算することで、不要な再帰的計算を避けて微分を算出する手法である。 確認テスト 連鎖律の原理を使い、下記の式のdz/dxを求めよ [解答] 勾配消失問題とは 誤差逆伝搬法が下位層に…

Section 1 入力層～活性層 確認テスト [答え] ディープラーニングは明示的なプログラムの代わりに、ニューラルネットワークを用いて各種パラメータを最適化することによって、入力値から目的とする出力地に変換する数学モデルを構築すること 最適化の最終目…

非線形回帰モデル 複雑な非線形構造を内在する現象に関しては、非線形モデルを適用する。 規定展開法 回帰関数として基底関数と呼ばれる非線形関数とパラメータベクトルの線形結合を使用する よく使われる既定関数は、多項式関数やガウス型既定関数、スプラ…

回帰モデル 回帰問題：ある入力から出力を予測する問題 直線で予測→線形回帰 曲線で予測→非線形回帰 線形回帰モデル 回帰問題を解くための機械学習モデル 教師あり学習 パラメータ： 線形結合（入力とパラメータの内積） 入力と未知のパラメータの各要素を掛…