ニューラルネットワーク

脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデルである。

ニューラルネットワークはシナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般を指す。

wikipedia-ニューラルネットワーク

よく出る言葉としては、重みとバイアスだろうか。

i 番目のポテンシャル ＝ 存在確率 × 重み ＋ バイアス

ニューラルネットワーク × たくさん 4 層以上とか ＝ ディープラーニング

ボルツマンマシン

古典的な分子モデルのエネルギーポテンシャルは、ボルツマン分布によって表すことができる。

機械学習についても、同様に、

表現の重み × 分布＋バイアス＝エネルギーとした際に、

その分布は、ボルツマン分布的に離散するだろうということだ。

それがボルツマンマシンの原理。

ただ、すべての状態を計算する必要があるので、計算にとても時間がかかる。

多くの変数が入ると計算が重くなるのは、どこの世界でも同じなのである。

統計的な分布から求めるという意味で、モンテカルロ法を用いた分子軌道計算に近い。

バックプロパゲーション

誤差が大きければあったら戻るモデル。

i 番目と i-1 番目の学習結果の差について、（局所）誤差が有意なものであれば、それ以前から計算を行う。

初期値（教師）が的外れな場合、おそらく系が複雑な場合も、値が収束しない。

この初期値を正しく設定する、または初期値にある程度目星をつけておくと良さげな結果になる気がする。

畳み込みニューラルネットワーク

一部を切り出し、特徴との適合率を見て学習していくモデル。

多層で組めるし、より学習ができるので良さげ。

伝搬型のモデル。

再帰型ニューラルネットワーク

RNN と書く。

発展として LSTM がある。

層が独立していない。選択結果も重みの１つに含まれるという点で、文章翻訳や文章生成に適している。