線性回歸:梯度下降

https://developers.google.com/machine-learning/crash-course/linear-regression/gradient-descent?hl=zh-tw

梯度下降是一種數學技巧,可重複尋找權重和偏誤,產生損失最小的模型。

在線性回歸中,梯度下降算法用於找到最佳的模型參數。模型參數包括權重和偏差,梯度下降算法通過調整這些參數來最小化損失函數。

梯度下降法會重複執行以下程序,直到達到使用者定義的疊代次數,藉此找出最佳權重和偏差。

模型會以隨機權重和接近零的偏差開始訓練,然後重複執行下列步驟:

  1. 根據目前的權重和偏誤計算損失。

  2. 判斷如何調整權重和偏差,以降低損失。

  3. 將權重和偏誤值移到較小方向上,以減少損失。

  4. 返回步驟 1,重複執行這個程序,直到模型無法再降低損失為止。

訓練模型時,需要查看損失曲線,判斷模型是否已收斂。損失曲線會顯示模型在訓練過程中損失的變化情形。