首頁人工智能常見問題正文

激活函數(shù)(Activation Function)有什么用處,有哪幾種?

更新時間:2023-07-07 來源:黑馬程序員 瀏覽量:

IT培訓(xùn)班

  激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中一種重要的組件,它的作用是引入非線性變換,使神經(jīng)網(wǎng)絡(luò)能夠?qū)W習和表示更加復(fù)雜的函數(shù)關(guān)系。激活函數(shù)通常應(yīng)用于神經(jīng)網(wǎng)絡(luò)的每個神經(jīng)元,將神經(jīng)元的輸入進行非線性映射,產(chǎn)生輸出信號。

  以下是幾種常見的激活函數(shù):

  1.Sigmoid 函數(shù)(Logistic 函數(shù))

  Sigmoid 函數(shù)將輸入映射到一個取值范圍在 0 到 1 之間的連續(xù)輸出。它具有平滑的 S 形曲線,公式為:f(x) = 1 / (1 + exp(-x))。Sigmoid 函數(shù)主要用于二分類問題或需要將輸出限制在 0 到 1 范圍內(nèi)的任務(wù)。然而,由于其在極端值(大正值或大負值)上梯度接近于零,容易出現(xiàn)梯度消失問題。

  2.雙曲正切函數(shù)(Tanh 函數(shù))

  Tanh 函數(shù)類似于 Sigmoid 函數(shù),但其輸出范圍在 -1 到 1 之間,具有對稱性。公式為:f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))。與 Sigmoid 函數(shù)相比,Tanh 函數(shù)的輸出更接近于零均值,能夠在神經(jīng)網(wǎng)絡(luò)中更好地處理負數(shù)輸入。然而,Tanh 函數(shù)也存在梯度消失的問題。

  3.ReLU 函數(shù)(Rectified Linear Unit)

  ReLU 函數(shù)將負數(shù)輸入映射為零,而正數(shù)輸入保持不變,公式為:f(x) = max(0, x)。ReLU 函數(shù)在訓(xùn)練過程中具有很好的收斂性和計算效率,并且能夠有效地緩解梯度消失問題。它的主要缺點是輸出不是以零為中心,對于負數(shù)輸入會產(chǎn)生死亡神經(jīng)元(輸出恒為零),因此在一些情況下可能需要采用一些改進的變種,如 Leaky ReLU、Parametric ReLU(PReLU)等。

  4.Leaky ReLU 函數(shù)

  Leaky ReLU 函數(shù)是對 ReLU 函數(shù)的改進,當輸入為負數(shù)時引入一個小的斜率,公式為:f(x) = max(ax, x),其中 a 是一個小的正數(shù)(通常很小,如0.01)。Leaky ReLU 函數(shù)解決了 ReLU 函數(shù)在負數(shù)區(qū)域產(chǎn)生死亡神經(jīng)元的問題,并且仍然保持了線性性質(zhì)和較高的計算效率。

  除了以上提到的激活函數(shù),還有一些其他的變種和改進,如 ELU(Exponential Linear Unit)、SELU(Scaled Exponential Linear Unit)、Softmax 函數(shù)等,它們在不同的場景和任務(wù)中具有不同的優(yōu)勢和適用性。選擇合適的激活函數(shù)取決于具體的問題和網(wǎng)絡(luò)結(jié)構(gòu),需要進行實驗和調(diào)優(yōu)來確定最佳的選擇。

分享到:
在線咨詢 我要報名
和我們在線交談!