メール関連 メールプロトコル SMTP:メールを送信・転送するプロトコル。ポート番号TCP２５番 POP3：メールをサーバから受信するプロトコル。ポート番号TCP110番 メール受信プロトコル POP3：ユーザーIDとパスワードで本人認証。パスワードは平文で送信 APOP…
TCPとUDP トランスポート層はIPを補完し、データ通信の品質や信頼性を向上させるための層で、TCPとUDPがある。 TCP 送達管理、電装管理の機能をもったコネクション型のプロトコル。 TCP/UDPヘッダのチェックサムは、データ部分も含む。 シーケンス番号 TCPス…
IP ネットワーク層のプロトコル IPはネットワーク層のプロトコルでネットワークを超えた通信を提供。 ・パケット通信 ・コネクションレス型通信 ・IPアドレスを使った経路制御 IPヘッダ(IPv4) IPv4は32ビット管理。 TTL パケットの生存時間ルータを通過する…
メディアアクセス制御 複数のデータを一つのケーブルを通して送受する場合、データの衝突を回避するための制御が必要になる。 CSMA/CD イーサネットで採用されているメディアアクセス制御方式で衝突検知方式を採用 ・各ノードは電装媒体が使用中か調べて、使…
7.2.5VLAN スイッチの機能 ネットワーク上に配置される通信機器は、自分が処理する例や以下のレイヤプロト頃を解釈できる 従ってL3スイッチ（L3SW)はL2スイッチにも対応している。 PC-AからPC-Bにパケットを送信した場合、中間にL3SWがあれば、L3SWに届く。 …
通信プロトコルの標準化 OSI基本参照モデル 7 アプリケーション層 データの意味内容を直絵s津扱う。SMTP,HTTPなど 6 プレゼンテーション層 データの表現形式管理。文字コード、圧縮の種類など 5 セッション層 最終的な通信の形に合わせてデータの送受信管理 …
特異値分解の復習。 特異値分解は、m×n行列Aに対して、下記のように分解する。 ・A:m×n ・U:m×nの直行行列 ・Σ：m×n ・ ：n×nの直行行列 単位ベクトル（左特異ベクトル）、Ａの特異値σ、単位ベクトル（右特異ベクトル)を用いると、下記のようにあらわせる。 …
ここでは、代表的なCNNのアーキテクチャの進化の流れについて記す。 AlexNet 2012年のILSVRCにおいて、他のアーキテクチャに圧倒的な差をつけて優勝し、深層学習モデルのブームの端緒になったモデル。 引用元:"ImageNet Classification with Deep Convolutio…
ベルマン方程式 動的計画法として知られる数的最適化において、最適化の条件を示す式。 状態 x を外部からの入力 u で制御できると考えているときに、ある種の評価 J の下で u を色々変えてみて、いざ評価 J を最も良くするような u が見つかったときに成り…
BLEU 機械翻訳の評価指標の一つでBLEUがある。 この評価方法の前提は、「プロの翻訳者の訳と近ければ近いほど、その機械翻訳の精度は高い」という考え方である。 BLEUは0~1の間で表現され、それを100倍したものをBLEUスコアとして用いる。 目安としては40以…
情報量 情報量は、下記の2つの条件を満たすものとして定義する。 1. 発生する確率が低いことが分かった時のほうが情報量が多い 2. 情報量は足し算で増えていく この条件を満たす情報量を以下のように定義できる。あることが分かった時の「そのことの情報量」…
R-CNN（Region-CNN)とは 2014年に発表された一般物体検出の代表的なネットワーク。 元論文は、 Rich feature hierarchies for accurate object detection and semantic segmentation ディープラーニングの一般物体検出手法の発展をまとめた図が下記のようにG…
BERT BERTとは、2018年にGoogleが発表した自然言語処理用の深層学習モデルである。 論文タイトル BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 投稿日 2018/10/11 著者 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kri…
通常のニューラルネットワーク 一般のニューラルネットワークにおける順伝搬は下記のように表せる。 下図のニューラルネットワークでは、下記の式になる。 と置けば、下記のように書ける。 ...(1) ...(2) 誤差逆伝搬法 損失関数をLとすると、誤差の勾配は(1)…
DCGAN GAN(Generative Adversarial Network)とは 生成器と識別機を競わせて学習する生成＆識別モデル。 Generator（生成器）：乱数からデータを生成 Discriminator（識別器）：入力データが真値（学習データ）であるかを識別する。 2プレイヤーのミニマック…
Section5 物体検知とセマンティックセグメンテーション 物体認識の種類 分類(Classification) 画面全体のクラスラベル 物体検知(Object Detection) 画面の中で物体を個別にボックス(bounding boxでとらえる 意味領域分割(Semantic Segmentation) 各ピクセル…
Section 5 Transformer 5-1 Seq2seq seq2seqとは 系列(sequence)を入力として、系列を出すもの。Encoder-Decoderモデルとも呼ばれる。 入力系列が内部状態に変換(encode)され、内部状態から系列に変換(decode)される。 実応用上も、入力・出力ともに系列情報…
Section3 軽量化・高速化技術 軽量化・高速化が必要な理由 深層学習は、計算量が多く、計算機の負担が大きいネットワークである。 しかも、年10倍程度の速度で、処理データが増加し、モデルが複雑になっている。 対して、コンピュータの処理速度の向上は、ほ…
Section1 強化学習 1-1強化学習とは 長期的に報酬を最大化できるように環境のなかで行動を選択できるエージェントを作ることを目標とする機械学習の一分野である。 下記のように、ある方策Πに基づいた行動をとり、状態Sの変化を観測して価値Vを報酬として受…
Section5 Seq2Seq Seq2Seq2は、2014年にGoogleにより発表された技術であり、機械翻訳やチャットボットのようなシーケンシャルなデータの処理に向いた技術である。 基本的な構造は下図のようになっている。 入力データを中間データに変換するEncoderと言われ…
Section2 LSTM RNNの課題 勾配消失 時間を遡るほど勾配が消失してしまうため、長い時系列の学習が困難だった。 勾配消失は、誤差逆伝搬法で深い層のニューラルネットワークを遡る時に見られる現象で、1より小さい値になる微分値が多数乗算されることにより引…
Section1 RNN 1-1 RNN全体像 1-1-1 RNNとは RNNとは、時系列データに対応可能なニューラルネットワークである。 1-1-2 時系列データ 時系列データとは、時間的順序を追って一定間隔ごとに観察され、 しかも相互に統計的依存関係が認められるようなデータの系…
Section4 畳み込みニューラルネットワークの概念 畳み込みニューラルネットワーク(CNN)は各次元で連続性のあるデータを扱うのに適したネットワークである。 CNNの構造の代表例は下記である。 入力層 ↓ 畳み込み層 ↓ 畳み込み層 ↓ プーリング層 ↓ 畳み込み層 …
Section2 学習率最適化手法について 学習率とは 学習を通して教師データとの誤差を最小にするネットワークを作成するために取られる手法を勾配降下法という。勾配降下法では、パラメータ更新する際の変化を規定する係数εを学習率という。 · 学習率の値が大き…
Section1 勾配消失問題 誤差逆伝搬法 誤差逆伝搬法とは、計算結果から微分を逆算することで、不要な再帰的計算を避けて微分を算出する手法である。 確認テスト 連鎖律の原理を使い、下記の式のdz/dxを求めよ [解答] 勾配消失問題とは 誤差逆伝搬法が下位層に…
Section 1 入力層～活性層 確認テスト [答え] ディープラーニングは明示的なプログラムの代わりに、ニューラルネットワークを用いて各種パラメータを最適化することによって、入力値から目的とする出力地に変換する数学モデルを構築すること 最適化の最終目…
非線形回帰モデル 複雑な非線形構造を内在する現象に関しては、非線形モデルを適用する。 規定展開法 回帰関数として基底関数と呼ばれる非線形関数とパラメータベクトルの線形結合を使用する よく使われる既定関数は、多項式関数やガウス型既定関数、スプラ…
回帰モデル 回帰問題：ある入力から出力を予測する問題 直線で予測→線形回帰 曲線で予測→非線形回帰 線形回帰モデル 回帰問題を解くための機械学習モデル 教師あり学習 パラメータ： 線形結合（入力とパラメータの内積） 入力と未知のパラメータの各要素を掛…
