BERT BERTとは、2018年にGoogleが発表した自然言語処理用の深層学習モデルである。 論文タイトル BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 投稿日 2018/10/11 著者 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kri…

通常のニューラルネットワーク 一般のニューラルネットワークにおける順伝搬は下記のように表せる。 下図のニューラルネットワークでは、下記の式になる。 と置けば、下記のように書ける。 ...(1) ...(2) 誤差逆伝搬法 損失関数をLとすると、誤差の勾配は(1)…

DCGAN GAN(Generative Adversarial Network)とは 生成器と識別機を競わせて学習する生成＆識別モデル。 Generator（生成器）：乱数からデータを生成 Discriminator（識別器）：入力データが真値（学習データ）であるかを識別する。 2プレイヤーのミニマック…

Section5 物体検知とセマンティックセグメンテーション 物体認識の種類 分類(Classification) 画面全体のクラスラベル 物体検知(Object Detection) 画面の中で物体を個別にボックス(bounding boxでとらえる 意味領域分割(Semantic Segmentation) 各ピクセル…

Section 5 Transformer 5-1 Seq2seq seq2seqとは 系列(sequence)を入力として、系列を出すもの。Encoder-Decoderモデルとも呼ばれる。 入力系列が内部状態に変換(encode)され、内部状態から系列に変換(decode)される。 実応用上も、入力・出力ともに系列情報…

Section3 軽量化・高速化技術 軽量化・高速化が必要な理由 深層学習は、計算量が多く、計算機の負担が大きいネットワークである。 しかも、年10倍程度の速度で、処理データが増加し、モデルが複雑になっている。 対して、コンピュータの処理速度の向上は、ほ…

Section1 強化学習 1-1強化学習とは 長期的に報酬を最大化できるように環境のなかで行動を選択できるエージェントを作ることを目標とする機械学習の一分野である。 下記のように、ある方策Πに基づいた行動をとり、状態Sの変化を観測して価値Vを報酬として受…

Section5 Seq2Seq Seq2Seq2は、2014年にGoogleにより発表された技術であり、機械翻訳やチャットボットのようなシーケンシャルなデータの処理に向いた技術である。 基本的な構造は下図のようになっている。 入力データを中間データに変換するEncoderと言われ…

Section2 LSTM RNNの課題 勾配消失 時間を遡るほど勾配が消失してしまうため、長い時系列の学習が困難だった。 勾配消失は、誤差逆伝搬法で深い層のニューラルネットワークを遡る時に見られる現象で、1より小さい値になる微分値が多数乗算されることにより引…

Section1 RNN 1-1 RNN全体像 1-1-1 RNNとは RNNとは、時系列データに対応可能なニューラルネットワークである。 1-1-2 時系列データ 時系列データとは、時間的順序を追って一定間隔ごとに観察され、 しかも相互に統計的依存関係が認められるようなデータの系…

Section4 畳み込みニューラルネットワークの概念 畳み込みニューラルネットワーク(CNN)は各次元で連続性のあるデータを扱うのに適したネットワークである。 CNNの構造の代表例は下記である。 入力層 ↓ 畳み込み層 ↓ 畳み込み層 ↓ プーリング層 ↓ 畳み込み層 …

Section2 学習率最適化手法について 学習率とは 学習を通して教師データとの誤差を最小にするネットワークを作成するために取られる手法を勾配降下法という。勾配降下法では、パラメータ更新する際の変化を規定する係数εを学習率という。 · 学習率の値が大き…

Section1 勾配消失問題 誤差逆伝搬法 誤差逆伝搬法とは、計算結果から微分を逆算することで、不要な再帰的計算を避けて微分を算出する手法である。 確認テスト 連鎖律の原理を使い、下記の式のdz/dxを求めよ [解答] 勾配消失問題とは 誤差逆伝搬法が下位層に…

Section 1 入力層～活性層 確認テスト [答え] ディープラーニングは明示的なプログラムの代わりに、ニューラルネットワークを用いて各種パラメータを最適化することによって、入力値から目的とする出力地に変換する数学モデルを構築すること 最適化の最終目…

非線形回帰モデル 複雑な非線形構造を内在する現象に関しては、非線形モデルを適用する。 規定展開法 回帰関数として基底関数と呼ばれる非線形関数とパラメータベクトルの線形結合を使用する よく使われる既定関数は、多項式関数やガウス型既定関数、スプラ…

回帰モデル 回帰問題：ある入力から出力を予測する問題 直線で予測→線形回帰 曲線で予測→非線形回帰 線形回帰モデル 回帰問題を解くための機械学習モデル 教師あり学習 パラメータ： 線形結合（入力とパラメータの内積） 入力と未知のパラメータの各要素を掛…