線性迴歸:損失

參考資料來源: (邊看邊打的),淺淺理解...

https://developers.google.com/machine-learning/crash-course/linear-regression/loss?hl=zh-tw

在統計與機器學習中,損失是用來評估預測值和實際值之間的差異。用來說明模型的預測結果有多不準確。

損失越大代表預測結果越不準,

訓練模型的目標就是盡量降低損失,將損失降到最小值,

在計算損失函數時, 著重點是預測值與實際值之間的差距離,與正負無關,

所以所有計算損失值的方法都會移除符號。一般常見的有兩種方法:

  1. 實際值與預測值之間差異的絕對值。
  2. 實際值與預測值之間的差異平方。

在線性迴歸中,損失主要分為四種:

  • L1 loss :  預測值與實際值之間差異的絕對值總和。
  • 平均絕對誤差 (MAE) :  L1 loss 的平均值。
  • L2 loss : 預測值與實際值之間的平方差的總和。
  • 均方誤差 (MSE) :  L2 loss的平均值

L1 損失函式與 L2 損失函式 (或者是 MAE 與 MSE) 之間的差異在於是否平方。

當預測值和標籤之間的差異很大時,平方運算會讓損失變更大。

如果差異很小 (小於 1),平方運算會讓損失變更小。

當一次處理多個範例時,無論是使用 MAE 還是 MSE,應將所有範例的損失值求平均值。

這樣可以得到一個整體的損失值,用以評估模型的性能。