BERT BERTとは、2018年にGoogleが発表した自然言語処理用の深層学習モデルである。 論文タイトル BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 投稿日 2018/10/11 著者 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kri…

通常のニューラルネットワーク 一般のニューラルネットワークにおける順伝搬は下記のように表せる。 下図のニューラルネットワークでは、下記の式になる。 と置けば、下記のように書ける。 ...(1) ...(2) 誤差逆伝搬法 損失関数をLとすると、誤差の勾配は(1)…

DCGAN GAN(Generative Adversarial Network)とは 生成器と識別機を競わせて学習する生成＆識別モデル。 Generator（生成器）：乱数からデータを生成 Discriminator（識別器）：入力データが真値（学習データ）であるかを識別する。 2プレイヤーのミニマック…

Section5 物体検知とセマンティックセグメンテーション 物体認識の種類 分類(Classification) 画面全体のクラスラベル 物体検知(Object Detection) 画面の中で物体を個別にボックス(bounding boxでとらえる 意味領域分割(Semantic Segmentation) 各ピクセル…

Section 5 Transformer 5-1 Seq2seq seq2seqとは 系列(sequence)を入力として、系列を出すもの。Encoder-Decoderモデルとも呼ばれる。 入力系列が内部状態に変換(encode)され、内部状態から系列に変換(decode)される。 実応用上も、入力・出力ともに系列情報…

Section3 軽量化・高速化技術 軽量化・高速化が必要な理由 深層学習は、計算量が多く、計算機の負担が大きいネットワークである。 しかも、年10倍程度の速度で、処理データが増加し、モデルが複雑になっている。 対して、コンピュータの処理速度の向上は、ほ…

Section1 強化学習 1-1強化学習とは 長期的に報酬を最大化できるように環境のなかで行動を選択できるエージェントを作ることを目標とする機械学習の一分野である。 下記のように、ある方策Πに基づいた行動をとり、状態Sの変化を観測して価値Vを報酬として受…

Section5 Seq2Seq Seq2Seq2は、2014年にGoogleにより発表された技術であり、機械翻訳やチャットボットのようなシーケンシャルなデータの処理に向いた技術である。 基本的な構造は下図のようになっている。 入力データを中間データに変換するEncoderと言われ…