一、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)

一、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的介紹

1、定義：

機(jī)器學(xué)習(xí)：是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。

深度學(xué)習(xí)：是機(jī)器學(xué)習(xí)的分支，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對數(shù)據(jù)進(jìn)行特征學(xué)習(xí)的算法。

2、區(qū)別

3、場景
深度學(xué)習(xí)目前更流行，我們玩他。

4、深度學(xué)習(xí)框架
TensorFlow、PyTorch、MXNet等等，我們這里玩的是PyTorch，沒有為什么，那么多框架，能玩一種就很開心了。

二、神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的介紹

1、定義：

神經(jīng)網(wǎng)絡(luò)：模仿生物神經(jīng)網(wǎng)絡(luò)，如大腦結(jié)構(gòu)，對函數(shù)進(jìn)行估計或近似。

神經(jīng)元：生物神經(jīng)網(wǎng)絡(luò)中，每個神經(jīng)元與其他神經(jīng)元項鏈，就會向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元內(nèi)點位。如果電位超過閾值，神經(jīng)元就會被激活，向其他神經(jīng)元發(fā)送化學(xué)物質(zhì)。上述情景抽象成簡單模型，就是M-P神經(jīng)元模型，它是神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)單元。如果他們以不同層次結(jié)構(gòu)連接起來，就得到了一個神經(jīng)網(wǎng)絡(luò)。一個神經(jīng)元的功能是求得輸入向量與權(quán)向量的內(nèi)積后，經(jīng)一個非線性傳遞函數(shù)得到一個標(biāo)量結(jié)果。

三、感知機(jī)和多層神經(jīng)網(wǎng)絡(luò)的介紹

1、定義：

單層神經(jīng)網(wǎng)絡(luò)：是最基本的神經(jīng)元網(wǎng)絡(luò)形式（每一列為一層），所有輸入向量都是同一向量，由于每個神經(jīng)元都會產(chǎn)生一個標(biāo)量結(jié)果，所以單層神經(jīng)元的輸出是一個向量，向量的維數(shù)等于神經(jīng)元的數(shù)量。

感知機(jī)：由兩層神經(jīng)網(wǎng)絡(luò)組成，輸入層接收外界的信號傳遞給輸出層，輸出層是MP-神經(jīng)元模型。它的作用是把一個n維向量空間用一個超平面分割成兩部分，給定一個閾值，超平面可以判斷出這個向量位于平面的哪一邊。結(jié)構(gòu)分為輸入層（接收大量輸入消息的神經(jīng)元）、輸出層（輸出神經(jīng)元鏈接中的分析、權(quán)衡后的結(jié)果）。

多層神經(jīng)網(wǎng)絡(luò)：單層神經(jīng)元網(wǎng)絡(luò)進(jìn)行疊加后得到，結(jié)果分為輸入層、輸出層、隱藏層（可以有多層，每一層數(shù)量不定，但數(shù)目越多，非線性越顯著，決定了網(wǎng)絡(luò)深度）。

全連接層：第N層和第N-1層中，神經(jīng)元兩兩之間都有鏈接，可用矩陣乘法來表示輸入的參數(shù)數(shù)量，進(jìn)行的是Y = Wx+b

四、激活函數(shù)和神經(jīng)網(wǎng)絡(luò)思想

1、定義：

激活函數(shù)：感知機(jī)能把一個平面分成兩部分，但因為是直線，并不完全能把數(shù)據(jù)準(zhǔn)確分為兩部分。因此需要在感知機(jī)的基礎(chǔ)上，加上非線性的激活函數(shù)（如SigmoidthnhReLUELUMaxoutLeaky ReLU等等,需要注意范圍），這樣畫的是曲線，可以保證數(shù)據(jù)分為兩部分，使得結(jié)果更準(zhǔn)確。作用：增加模型的非線性分割能力（數(shù)據(jù)分類更準(zhǔn)確）、提高模型魯棒性（適應(yīng)性更強(qiáng)）、緩解梯度消失問題、加速模型收斂（訓(xùn)練時間更短）等

2、神經(jīng)網(wǎng)絡(luò)思想：

女友判定機(jī)，隨著年齡的增長，判定機(jī)不斷變化：

15歲：顏值為標(biāo)準(zhǔn)
18歲：顏值、性格為標(biāo)準(zhǔn)
20歲：…

判定機(jī)：對不同的標(biāo)準(zhǔn)項進(jìn)行加權(quán)，但還不好量化。于是將顏值分為身高、長相、皮膚等等繼續(xù)加權(quán)。類似于一張圖片，最終被分成像素點，不同像素點進(jìn)行特征提取，最終組合成期望的結(jié)果。此時，自動更新了加權(quán)值這些參數(shù)，使其不斷趨于穩(wěn)定。