超限學習機

　超限學習機（ELM）

　2006 年，Huang 等人 [61] 提出超限學習機（ELM）。它是為了解決傳統(tǒng)學習算法所包含的缺點，例如訓練時間較長、容易受到噪聲干擾與陷入局部最優(yōu)解、參數(shù)選擇較為敏感等等，才被提出來的單隱藏層前饋神經(jīng)網(wǎng)絡(luò)，具有優(yōu)異的學習準確性和速度 [46] 。超限學習機不需要迭代地調(diào)整神經(jīng)網(wǎng)絡(luò)權(quán)值和隱藏層節(jié)點偏置，而是通過直接學習使用最小二乘法就能夠得到。在基本訓練的步驟中缺少了迭代后，神經(jīng)網(wǎng)絡(luò)的學習速度明顯變快，陷入過擬合的概率同樣減小。

　假設(shè)有 N 個訓練數(shù)據(jù) [x t ] ,i i， ?1,2, , i N ，其中 ? ?1 2[ , , , ]

　 T ni i i inx x x x R是樣本， ? ?1 2[ , , , ] Tmi i i imt t t t R 為樣本jx 的期望輸出向量， n 和 m 代表對應(yīng)的輸入和輸出的維數(shù)。對于 N 個訓練數(shù)據(jù)， l 個隱藏層節(jié)點來說， ? l N ， ( ) g x 是激活函數(shù)，常規(guī)的一般為 Sigmoid 型，由此得到超限學習機神經(jīng)網(wǎng)絡(luò)輸出數(shù)學模型如式（4.1）：

　?? ? ??1( ) ,

　 1,2, ,li i j i jiβ g b j N a x t

　（4.1）

　其中， ?1 2[ , , , ] Ti i i ina a a a 表示輸入層節(jié)點與第 i 個隱藏層節(jié)點之間的輸入權(quán)值， ?1 2[ , , , ] Ti i i imβ β β β 為輸出權(quán)值，ib 為隱藏層偏置。

　式（4.1）可以簡化為， β ? H T

�。�4.2）

　其中式（4.2）中，隱藏層輸出矩陣為 H 表示，輸出權(quán)值矩陣（隱藏層與輸出層間）為 β 表示，期望輸出矩陣為 T 表示 [62] 。

　1 1 1 11 1( ) ( )( , , )( ) ( )l li i jN l N lN lg b g bbg b g b?? ? ? ?? ??? ?? ?? ?? ?a x a xH a xa x a x

　（4.3）

　1TTll mβββ?? ?? ??? ?? ?? ?

　 1NN m ?? ?? ??? ?? ?? ?TTtTt

　 （4.4）

　當滿足 = l N 時，即訓練樣本個數(shù)和隱藏層節(jié)點個數(shù)相同時，那么由式（4.2）可以直接求出矩陣 H 的逆矩陣如式（4.4）所示，它與輸出的節(jié)點個數(shù)無關(guān) [63] ，輸出權(quán)值矩陣 β 的最優(yōu)解由此也可計算得出。但在一般情況下 ? l N ，即隱藏層節(jié)點個數(shù)是遠小于訓練樣本個數(shù)，這時矩陣 H 是奇異矩陣，需要利用最小二乘方法對式（4.2）進行求解：

　? β†H T

　（4.5）

　其中，†H 為隱藏層輸出矩陣的 Moore-Penrose 廣義逆。

相關(guān)熱詞搜索：超限 學習機