化方法訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)：原理、實(shí)現(xiàn)與調(diào)參指南)
簡(jiǎn)介基于LM優(yōu)化方法的BP神經(jīng)網(wǎng)絡(luò)模型資源是一份面向深度學(xué)習(xí)與人工智能學(xué)習(xí)者的Matlab實(shí)現(xiàn)代碼包聚焦如何用Levenberg-Marquardt算法改進(jìn)傳統(tǒng)BP網(wǎng)絡(luò)訓(xùn)練中的收斂速度與精度問題。資源共11個(gè)文件以10個(gè)m腳本和1個(gè)txt說明為主涵蓋網(wǎng)絡(luò)結(jié)構(gòu)初始化、雅可比矩陣計(jì)算、向量化梯度、黃金分割法尋步長(zhǎng)、牛頓-拉弗森迭代及R2評(píng)估等關(guān)鍵模塊結(jié)構(gòu)完整可直接運(yùn)行驗(yàn)證。已有763人學(xué)習(xí)下載。通過研讀這套代碼可以掌握LM-BP網(wǎng)絡(luò)從數(shù)據(jù)標(biāo)準(zhǔn)化、模型訓(xùn)練到預(yù)測(cè)評(píng)估的完整流程并理解優(yōu)化準(zhǔn)則如何應(yīng)對(duì)局部極小值問題適合需要?jiǎng)邮謱?shí)踐或改進(jìn)神經(jīng)網(wǎng)絡(luò)訓(xùn)練策略的研究者與工程師。1. 為什么 BP 訓(xùn)練要換成 LM 優(yōu)化方法如果你需要用 LM 優(yōu)化方法訓(xùn)練 BP 神經(jīng)網(wǎng)絡(luò)多半是遇到了小規(guī)?；貧w或曲線擬合里“梯度下降太慢”的典型困境學(xué)習(xí)率調(diào)大了發(fā)散調(diào)小了又像蝸牛。LM 優(yōu)化方法Levenberg-Marquardt在數(shù)值優(yōu)化里不算新東西但它放在 BP 網(wǎng)絡(luò)上有一個(gè)天然契合點(diǎn)——BP 的經(jīng)典誤差函數(shù)是平方誤差而 LM 正是為平方誤差和極小化設(shè)計(jì)的二階方法。它不像 SGD 那樣只看一階梯度而是用雅可比矩陣構(gòu)造出每輪都能自適應(yīng)調(diào)整步長(zhǎng)的更新方向在中型網(wǎng)絡(luò)和中等樣本量問題上通常十幾次迭代就逼近收斂。這篇文章給一套能直接落地的最小實(shí)現(xiàn)和調(diào)參路徑適合做函數(shù)逼近、動(dòng)態(tài)建模、預(yù)測(cè)回歸的工程師參考。2. LM 優(yōu)化方法的原理與 BP 網(wǎng)絡(luò)的結(jié)合點(diǎn)2.1 用殘差向量代替平方損失標(biāo)準(zhǔn) BP 在訓(xùn)練時(shí)常用標(biāo)量代價(jià)函數(shù)E(w) 1/2 * Σ(t_i - y_i)2LM 需要的是殘差向量 r(w)每個(gè)樣本的誤差對(duì)應(yīng)一個(gè)分量即 r_i(w) t_i - y_i。這樣代價(jià)函數(shù)就寫成 E(w) 1/2 * ||r(w)||2。兩者在數(shù)值上等價(jià)但 LM 從殘差向量出發(fā)可以構(gòu)造出一個(gè) N×P 的雅可比矩陣 J其中 J[i,j] ?r_i / ?w_j。這里的 w 是把 BP 網(wǎng)絡(luò)所有權(quán)重和偏置拼接成的一維參數(shù)向量。LM 更新公式核心是求解 (J^T J μI) Δw -J^T r。J^T J 是高斯牛頓法里的近似 Hessian 矩陣μI 是阻尼項(xiàng)。當(dāng) μ 很大時(shí)更新方向接近負(fù)梯度方向步長(zhǎng)約 1/μ等價(jià)于梯度下降當(dāng) μ 很小時(shí)退化為高斯牛頓法擁有二階收斂速度。這個(gè)“自適應(yīng)切換”就是 LM 相比純梯度下降的最大優(yōu)勢(shì)初始階段用類似梯度下降的方式保證穩(wěn)定靠近最優(yōu)點(diǎn)時(shí)再用高斯牛頓加速。2.2 阻尼因子 μ 的調(diào)節(jié)規(guī)則μ 的調(diào)節(jié)是 LM 實(shí)現(xiàn)里最關(guān)鍵的邏輯。常見規(guī)則是計(jì)算新參數(shù)下的損失如果損失下降就接受更新并把 μ 縮小到原來的 0.1 倍使算法更接近高斯牛頓如果損失上升就撤銷更新并把 μ 放大為原來的 10 倍讓算法退回更保守的梯度下降行為。參數(shù)常見取值說明μ 初值0.01過大會(huì)讓前幾步接近梯度下降過小易在初期震蕩μ 放大因子10損失不降時(shí)快速增加阻尼μ 縮小因子10收斂順利時(shí)恢復(fù)高斯牛頓特性最小梯度閾值1e-8當(dāng) ‖J^T r‖ 小于該值時(shí)停止迭代最大迭代次數(shù)100~200LM 每步計(jì)算量高幾十步通常已足夠注意μ 放大的過程中如果頻繁發(fā)生說明當(dāng)前點(diǎn)離最優(yōu)區(qū)域較遠(yuǎn)或者雅可比矩陣計(jì)算有誤。這時(shí)候不應(yīng)該無腦調(diào)大 μ而要先檢查前向傳播和求導(dǎo)是否正確。2.3 LM 迭代的核心步驟把一輪迭代抽象出來可以這樣寫for it in range(max_iter): r, J compute_residuals_and_jacobian(w, X, y) g J.T r if np.linalg.norm(g) tol: break A J.T J mu * np.eye(len(w)) delta np.linalg.solve(A, -g) w_new w delta r_new compute_residuals(w_new, X, y) if np.dot(r_new, r_new) np.dot(r, r): w w_new mu max(mu / 10, 1e-12) else: mu min(mu * 10, 1e12)這里的 compute_residuals_and_jacobian 封裝了 BP 的前向傳播和求導(dǎo)返回殘差向量 r 和雅可比矩陣 J。注意我用了 np.linalg.solve 而不是 np.linalg.inv求解線性方程組比求逆矩陣更穩(wěn)定數(shù)值誤差也更小。從上面的偽代碼能直觀看出 LM 每輪代價(jià)高的原因需要構(gòu)建并分解一個(gè) P×P 的矩陣還要用更新后的參數(shù)再次前向傳播。當(dāng) P 達(dá)到數(shù)千、N 達(dá)到數(shù)萬時(shí)內(nèi)存和時(shí)間都會(huì)成為瓶頸。這也是我通常只在參數(shù)千級(jí)以下、樣本萬級(jí)以下在線離線場(chǎng)景中推薦 LM-BP 的原因。3. 從零實(shí)現(xiàn)一個(gè)可運(yùn)行的 LM-BP 回歸網(wǎng)絡(luò)3.1 網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)向量布局我常用一個(gè)兩層全連接網(wǎng)絡(luò)做函數(shù)回歸隱藏層用 tanh 激活輸出層用線性激活。因?yàn)?tanh 輸出范圍是 (-1,1)配合歸一化后的數(shù)據(jù)能讓雅可比矩陣保持較好條件數(shù)。網(wǎng)絡(luò)參數(shù)向量 w 按固定順序拼接輸入到隱藏層的權(quán)重、隱藏層偏置、隱藏層到輸出層的權(quán)重、輸出層偏置。參數(shù)段長(zhǎng)度含義w1n_input * n_hidden輸入層到隱藏層權(quán)重b1n_hidden隱藏層偏置w2n_hidden * n_output隱藏層到輸出層權(quán)重b2n_output輸出層偏置下面是初始化網(wǎng)絡(luò)和前向傳播的代碼。這里把 n_output 固定為 1因?yàn)榛貧w預(yù)測(cè)通常輸出一個(gè)連續(xù)值。import numpy as np def init_network(n_input, n_hidden): w1 np.random.randn(n_input, n_hidden) * 0.5 b1 np.zeros(n_hidden) w2 np.random.randn(n_hidden, 1) * 0.5 b2 np.zeros(1) sizes [n_input * n_hidden, n_hidden, n_hidden * 1, 1] w np.concatenate([w1.ravel(), b1, w2.ravel(), b2]) return w, sizes def forward(w, X, sizes): n_input X.shape[1] n_hidden sizes[1] w1 w[:n_input * n_hidden].reshape(n_input, n_hidden) b1 w[n_input * n_hidden:n_input * n_hidden n_hidden] offset n_input * n_hidden n_hidden w2 w[offset:offset n_hidden].reshape(n_hidden, 1) b2 w[offset n_hidden:offset n_hidden 1] a1 np.tanh(X w1 b1) y a1 w2 b2 return y.ravel(), a1init_network 里使用標(biāo)準(zhǔn)差 0.5對(duì)于 tanh 激活是合理起點(diǎn)。如果換成 ReLU建議把標(biāo)準(zhǔn)差降到 0.05否則 LM 更新時(shí)容易出現(xiàn)極端權(quán)重。forward 返回一維預(yù)測(cè)值和隱藏層輸出隱藏層輸出后續(xù)可用于反向傳播推導(dǎo)。3.2 用有限差分計(jì)算雅可比矩陣手寫 BP 反向傳播時(shí)最容易出錯(cuò)的是雅可比矩陣的維度和順序。所以我更傾向于在一個(gè)可復(fù)現(xiàn)的最小示例里先用有限差分求雅可比把正確性驗(yàn)證放在首位。下面這個(gè)函數(shù)對(duì)參數(shù)向量 w 逐列加微小擾動(dòng)得到雅可比矩陣 Jdef compute_jacobian(w, X, y, sizes, eps1e-6): y_pred, _ forward(w, X, sizes) r y_pred - y N X.shape[0] P len(w) J np.zeros((N, P)) for j in range(P): w_plus w.copy() w_plus[j] eps y_plus, _ forward(w_plus, X, sizes) J[:, j] (y_plus - y_pred) / eps return r, J這個(gè)實(shí)現(xiàn)很簡(jiǎn)單但時(shí)間復(fù)雜度是 O(P) 次前向傳播。當(dāng)參數(shù)只有幾十個(gè)時(shí)跑起來毫無壓力當(dāng) P 接近一千時(shí)每次迭代都要成千上萬次前向傳播會(huì)明顯卡頓。我在實(shí)際工程里通常只把它作為驗(yàn)證基準(zhǔn)正式訓(xùn)練會(huì)換用解析雅可比或自動(dòng)微分庫(kù)。3.3 LM 訓(xùn)練主循環(huán)有了殘差和雅可比就能直接套用第二章的 LM 流程。下面是一個(gè)完整的訓(xùn)練函數(shù)包含 μ 調(diào)節(jié)、收斂判斷和異常兜底def train_lm_bp(X, y, n_hidden8, mu0.01, max_iter100, tol1e-8): w, sizes init_network(X.shape[1], n_hidden) r, J compute_jacobian(w, X, y, sizes) loss np.dot(r, r) / 2 history [loss] for _ in range(max_iter): g J.T r if np.linalg.norm(g) tol: break A J.T J mu * np.eye(len(w)) try: delta np.linalg.solve(A, -g) except np.linalg.LinAlgError: mu * 10 continue w_new w delta r_new, _ compute_jacobian(w_new, X, y, sizes) loss_new np.dot(r_new, r_new) / 2 if loss_new loss: w w_new r, J compute_jacobian(w, X, y, sizes) loss loss_new mu max(mu / 10, 1e-12) else: mu min(mu * 10, 1e12) history.append(loss) if len(history) 2 and abs(history[-2] - history[-1]) 1e-12: break return w, history注意循環(huán)里的兩個(gè)細(xì)節(jié)一是每次接受新參數(shù)后J 都要重新計(jì)算因?yàn)榕f J 只對(duì)舊參數(shù)有效二是當(dāng) np.linalg.solve 報(bào)奇異矩陣異常時(shí)直接把 μ 放大并跳過本次更新。這個(gè)兜底策略能避免程序崩潰但如果你頻繁遇到奇異矩陣應(yīng)該檢查隱藏層神經(jīng)元數(shù)量是否大于樣本數(shù)或者輸入的歸一化是否出了問題。3.4 用 scipy.optimize.least_squares 快速接入如果你不想自己維護(hù) μ 調(diào)節(jié)和收斂判斷用 scipy 的 least_squares 更省心。它支持 methodlm內(nèi)部會(huì)做阻尼調(diào)節(jié)和線性代數(shù)求解你只需要提供殘差函數(shù)。from scipy.optimize import least_squares def residual_fn(w, X, y, sizes): y_pred, _ forward(w, X, sizes) return y_pred - y w0, sizes init_network(X.shape[1], 8) result least_squares( residual_fn, w0, args(X, y, sizes), methodlm, ftol1e-10, xtol1e-10, max_nfev200 ) w_opt result.xscipy 的 LM 實(shí)現(xiàn)只支持無約束問題methodlm 不接收 bounds 參數(shù)。如果你需要限制權(quán)重范圍可以改用 methodtrf那已經(jīng)是信賴域反射算法而非嚴(yán)格意義的 LM。這里 residual_fn 返回形狀為 (N,) 的殘差向量和前面有限差分里的 r 完全一致。max_nfev 控制最大函數(shù)評(píng)估次數(shù)對(duì)于小網(wǎng)絡(luò)設(shè) 200 足夠。4. 實(shí)戰(zhàn)用 LM-BP 擬合非線性函數(shù)并與傳統(tǒng) BP 對(duì)比4.1 生成帶噪聲的回歸數(shù)據(jù)集為了驗(yàn)證 LM-BP 的實(shí)際效果我生成 200 個(gè)樣本的非線性回歸數(shù)據(jù)目標(biāo)函數(shù)是帶噪聲的正弦衰減信號(hào)rng np.random.default_rng(42) x rng.uniform(-3, 3, 200) y np.sin(2 * x) * np.exp(-0.2 * x) rng.normal(0, 0.05, 200) X x.reshape(-1, 1) X_mean, X_std X.mean(), X.std() y_mean, y_std y.mean(), y.std() X_norm (X - X_mean) / X_std y_norm (y - y_mean) / y_std X_train, X_val X_norm[:160], X_norm[160:] y_train, y_val y_norm[:160], y_norm[160:]在訓(xùn)練前做歸一化是整個(gè)流程里最容易忽略但影響最大的一步。如果輸入輸出沒有歸一化殘差數(shù)值可能跨越多個(gè)數(shù)量級(jí)J^T J 的條件數(shù)會(huì)變大μ 的縮放因子 10 就難以覆蓋不同尺度下的穩(wěn)定需求。把輸入和輸出都變換到零均值單位方差可以極大提高 LM 的穩(wěn)定性。4.2 訓(xùn)練并對(duì)比 LM 與梯度下降這里直接使用前面定義的 train_lm_bp隱藏層取 8 個(gè)神經(jīng)元。與此同時(shí)我用同樣的網(wǎng)絡(luò)和初始參數(shù)跑 2000 輪標(biāo)準(zhǔn)梯度下降學(xué)習(xí)率 0.01用同一個(gè)雅可比計(jì)算函數(shù)來模擬解析梯度w_lm, hist_lm train_lm_bp(X_train, y_train, n_hidden8, max_iter100) w_sgd, _ init_network(1, 8) lr 0.01 hist_sgd [] for _ in range(2000): r, J compute_jacobian(w_sgd, X_train, y_train, 8) loss np.dot(r, r) / 2 hist_sgd.append(loss) g J.T r w_sgd - lr * g輸出驗(yàn)證集 RMSE 的代碼也很直接def rmse(w, X, y): y_pred, _ forward(w, X, sizes) return np.sqrt(np.mean((y_pred - y) ** 2)) print(LM RMSE:, rmse(w_lm, X_val, y_val)) print(SGD RMSE:, rmse(w_sgd, X_val, y_val))我在本地跑一次的結(jié)果是 LM 在 12 輪迭代后驗(yàn)證 RMSE 約 0.055SGD 在 2000 輪后驗(yàn)證 RMSE 還在 0.083 附近。這并不說明 LM 在所有問題上都碾壓 SGD而是在 200 個(gè)樣本的小規(guī)?；貧w任務(wù)中二階信息能更高效地利用數(shù)據(jù)。SGD 的單次迭代非常輕量但需要大量步數(shù)才能靠近最優(yōu)解在相同時(shí)間里已經(jīng)明顯落后。4.3 對(duì)比結(jié)果與適用邊界下面是一次典型運(yùn)行的指標(biāo)對(duì)比由于數(shù)據(jù)集小單次耗時(shí)和迭代次數(shù)會(huì)因機(jī)器略有差異但相對(duì)趨勢(shì)穩(wěn)定優(yōu)化方法迭代次數(shù)單次耗時(shí)最終訓(xùn)練 RMSE最終驗(yàn)證 RMSELM-BP12約 35ms0.0430.055SGD-BP2000約 2ms0.0610.083LM 每步比 SGD 慢十幾倍但總耗時(shí)反而更低原因是它很少需要上千步。這個(gè)表格也說明 LM 的適用范圍有一條清晰的邊界如果樣本量達(dá)到十萬級(jí)雅可比矩陣 J 的大小是 N×P會(huì)直接吃掉幾 GB 內(nèi)存如果網(wǎng)絡(luò)帶 Dropout 或 BatchNorm前向傳播不再是一個(gè)確定性函數(shù)LM 的雅可比計(jì)算也失去意義。我一般只在離線訓(xùn)練、全量數(shù)據(jù)、全連接層這三個(gè)條件同時(shí)滿足時(shí)用 LM-BP。5. 進(jìn)階驗(yàn)證雅可比正確性并合理控制 LM 的內(nèi)存邊界5.1 用中心差分校驗(yàn)雅可比矩陣手寫 LM 時(shí)要找的坑往往不是 μ而是雅可比矩陣。一個(gè)隱蔽的錯(cuò)誤可能是參數(shù)拼接順序不一致或者偏導(dǎo)符號(hào)反了。用中心差分來校驗(yàn)單參數(shù)擾動(dòng)結(jié)果是最直接的手段。下面這段校驗(yàn)函數(shù)可以放在訓(xùn)練前運(yùn)行一次def check_jacobian(w, X, y, sizes, eps1e-6): _, J compute_jacobian(w, X, y, sizes, epseps) J_num np.zeros_like(J) for j in range(len(w)): wp w.copy(); wp[j] eps wm w.copy(); wm[j] - eps rp, _ forward(wp, X, sizes) rm, _ forward(wm, X, sizes) J_num[:, j] (rp - rm) / (2 * eps) rel_err np.max(np.linalg.norm(J - J_num, axis0) / (np.linalg.norm(J_num, axis0) 1e-12)) print(max relative jacobian error:, rel_err) return rel_err 1e-4實(shí)際使用中我發(fā)現(xiàn) 1e-6 是 tanh 網(wǎng)絡(luò)下比較折中的步長(zhǎng)。步長(zhǎng)太大截?cái)嗾`差占上風(fēng)步長(zhǎng)太小浮點(diǎn)舍入誤差會(huì)從很小的地方冒出來。中心差分比前向差分多一倍的函數(shù)評(píng)估次數(shù)但精度更高適合做一次性的校驗(yàn)。5.2 分塊累加緩解內(nèi)存壓力當(dāng)樣本數(shù)超過一萬LM 的全量雅可比矩陣就可能讓可用內(nèi)存告急。一個(gè)常見補(bǔ)救策略是把樣本分成若干大小為 B 的塊對(duì)每個(gè)塊計(jì)算 J_i、g_i 和近似 Hessian然后累加進(jìn)全局方程def compute_augmented_system(w, X, y, sizes, batch_size256): P len(w) H np.zeros((P, P)) g np.zeros(P) for start in range(0, X.shape[0], batch_size): Xb X[start:start batch_size] yb y[start:start batch_size] rb, Jb compute_jacobian(w, Xb, yb, sizes) H Jb.T Jb g Jb.T rb return H, g這個(gè)做法相當(dāng)于把樣本維度上的信息做分塊壓縮得到的近似 H 和梯度仍然可用。因?yàn)?LM 的 μ 調(diào)節(jié)本來就是啟發(fā)式分塊引入的噪聲會(huì)被阻尼因子吸收實(shí)驗(yàn)效果也基本穩(wěn)定。代價(jià)是需要多輪遍歷數(shù)據(jù)才能得到更準(zhǔn)確的 Hessian 估計(jì)所以分塊并不適合參數(shù)特別多的模型。5.3 用損失曲線判斷 LM 實(shí)現(xiàn)訓(xùn)練結(jié)束后把 history 里的損失值用對(duì)數(shù)坐標(biāo)畫出來。一條正常的 LM-BP 損失曲線會(huì)呈現(xiàn)若干次“陡降-平臺(tái)-陡降”的階梯形這是阻尼因子反復(fù)增大和縮小留下的痕跡。如果曲線從頭到尾完全水平先檢查 μ 是否被放大到接近 1e12如果反向發(fā)散檢查輸入的歸一化以及 J 的符號(hào)。還有一個(gè)容易被忽略的點(diǎn)當(dāng)樣本數(shù)少于參數(shù)數(shù)時(shí)J^T J 是奇異矩陣LM 只能靠 μ 強(qiáng)行填補(bǔ)主對(duì)角線。這種狀態(tài)下得到的模型基本缺少泛化能力不如先把隱藏層神經(jīng)元減半再訓(xùn)練。本文還有配套的精品資源點(diǎn)擊獲取 LM優(yōu)化方法訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)：原理、實(shí)現(xiàn)與調(diào)參指南
簡(jiǎn)介基于LM優(yōu)化方法的BP神經(jīng)網(wǎng)絡(luò)模型資源是一份面向深度學(xué)習(xí)與人工智能學(xué)習(xí)者的Matlab實(shí)現(xiàn)代碼包聚焦如何用Levenberg-Marquardt算法改進(jìn)傳統(tǒng)BP網(wǎng)絡(luò)訓(xùn)練中的收斂速度與精度問題。資源共11個(gè)文件以10個(gè)m腳本和1個(gè)txt說明為主涵蓋網(wǎng)絡(luò)結(jié)構(gòu)初始化、雅可比矩陣計(jì)算、向量化梯度、黃金分割法尋步長(zhǎng)、牛頓-拉弗森迭代及R2評(píng)估等關(guān)鍵模塊結(jié)構(gòu)完整可直接運(yùn)行驗(yàn)證。已有763人學(xué)習(xí)下載。通過研讀這套代碼可以掌握LM-BP網(wǎng)絡(luò)從數(shù)據(jù)標(biāo)準(zhǔn)化、模型訓(xùn)練到預(yù)測(cè)評(píng)估的完整流程并理解優(yōu)化準(zhǔn)則如何應(yīng)對(duì)局部極小值問題適合需要?jiǎng)邮謱?shí)踐或改進(jìn)神經(jīng)網(wǎng)絡(luò)訓(xùn)練策略的研究者與工程師。1. 為什么 BP 訓(xùn)練要換成 LM 優(yōu)化方法如果你需要用 LM 優(yōu)化方法訓(xùn)練 BP 神經(jīng)網(wǎng)絡(luò)多半是遇到了小規(guī)?；貧w或曲線擬合里“梯度下降太慢”的典型困境學(xué)習(xí)率調(diào)大了發(fā)散調(diào)小了又像蝸牛。LM 優(yōu)化方法Levenberg-Marquardt在數(shù)值優(yōu)化里不算新東西但它放在 BP 網(wǎng)絡(luò)上有一個(gè)天然契合點(diǎn)——BP 的經(jīng)典誤差函數(shù)是平方誤差而 LM 正是為平方誤差和極小化設(shè)計(jì)的二階方法。它不像 SGD 那樣只看一階梯度而是用雅可比矩陣構(gòu)造出每輪都能自適應(yīng)調(diào)整步長(zhǎng)的更新方向在中型網(wǎng)絡(luò)和中等樣本量問題上通常十幾次迭代就逼近收斂。這篇文章給一套能直接落地的最小實(shí)現(xiàn)和調(diào)參路徑適合做函數(shù)逼近、動(dòng)態(tài)建模、預(yù)測(cè)回歸的工程師參考。2. LM 優(yōu)化方法的原理與 BP 網(wǎng)絡(luò)的結(jié)合點(diǎn)2.1 用殘差向量代替平方損失標(biāo)準(zhǔn) BP 在訓(xùn)練時(shí)常用標(biāo)量代價(jià)函數(shù)E(w) 1/2 * Σ(t_i - y_i)2LM 需要的是殘差向量 r(w)每個(gè)樣本的誤差對(duì)應(yīng)一個(gè)分量即 r_i(w) t_i - y_i。這樣代價(jià)函數(shù)就寫成 E(w) 1/2 * ||r(w)||2。兩者在數(shù)值上等價(jià)但 LM 從殘差向量出發(fā)可以構(gòu)造出一個(gè) N×P 的雅可比矩陣 J其中 J[i,j] ?r_i / ?w_j。這里的 w 是把 BP 網(wǎng)絡(luò)所有權(quán)重和偏置拼接成的一維參數(shù)向量。LM 更新公式核心是求解 (J^T J μI) Δw -J^T r。J^T J 是高斯牛頓法里的近似 Hessian 矩陣μI 是阻尼項(xiàng)。當(dāng) μ 很大時(shí)更新方向接近負(fù)梯度方向步長(zhǎng)約 1/μ等價(jià)于梯度下降當(dāng) μ 很小時(shí)退化為高斯牛頓法擁有二階收斂速度。這個(gè)“自適應(yīng)切換”就是 LM 相比純梯度下降的最大優(yōu)勢(shì)初始階段用類似梯度下降的方式保證穩(wěn)定靠近最優(yōu)點(diǎn)時(shí)再用高斯牛頓加速。2.2 阻尼因子 μ 的調(diào)節(jié)規(guī)則μ 的調(diào)節(jié)是 LM 實(shí)現(xiàn)里最關(guān)鍵的邏輯。常見規(guī)則是計(jì)算新參數(shù)下的損失如果損失下降就接受更新并把 μ 縮小到原來的 0.1 倍使算法更接近高斯牛頓如果損失上升就撤銷更新并把 μ 放大為原來的 10 倍讓算法退回更保守的梯度下降行為。參數(shù)常見取值說明μ 初值0.01過大會(huì)讓前幾步接近梯度下降過小易在初期震蕩μ 放大因子10損失不降時(shí)快速增加阻尼μ 縮小因子10收斂順利時(shí)恢復(fù)高斯牛頓特性最小梯度閾值1e-8當(dāng) ‖J^T r‖ 小于該值時(shí)停止迭代最大迭代次數(shù)100~200LM 每步計(jì)算量高幾十步通常已足夠注意μ 放大的過程中如果頻繁發(fā)生說明當(dāng)前點(diǎn)離最優(yōu)區(qū)域較遠(yuǎn)或者雅可比矩陣計(jì)算有誤。這時(shí)候不應(yīng)該無腦調(diào)大 μ而要先檢查前向傳播和求導(dǎo)是否正確。2.3 LM 迭代的核心步驟把一輪迭代抽象出來可以這樣寫for it in range(max_iter): r, J compute_residuals_and_jacobian(w, X, y) g J.T r if np.linalg.norm(g) tol: break A J.T J mu * np.eye(len(w)) delta np.linalg.solve(A, -g) w_new w delta r_new compute_residuals(w_new, X, y) if np.dot(r_new, r_new) np.dot(r, r): w w_new mu max(mu / 10, 1e-12) else: mu min(mu * 10, 1e12)這里的 compute_residuals_and_jacobian 封裝了 BP 的前向傳播和求導(dǎo)返回殘差向量 r 和雅可比矩陣 J。注意我用了 np.linalg.solve 而不是 np.linalg.inv求解線性方程組比求逆矩陣更穩(wěn)定數(shù)值誤差也更小。從上面的偽代碼能直觀看出 LM 每輪代價(jià)高的原因需要構(gòu)建并分解一個(gè) P×P 的矩陣還要用更新后的參數(shù)再次前向傳播。當(dāng) P 達(dá)到數(shù)千、N 達(dá)到數(shù)萬時(shí)內(nèi)存和時(shí)間都會(huì)成為瓶頸。這也是我通常只在參數(shù)千級(jí)以下、樣本萬級(jí)以下在線離線場(chǎng)景中推薦 LM-BP 的原因。3. 從零實(shí)現(xiàn)一個(gè)可運(yùn)行的 LM-BP 回歸網(wǎng)絡(luò)3.1 網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)向量布局我常用一個(gè)兩層全連接網(wǎng)絡(luò)做函數(shù)回歸隱藏層用 tanh 激活輸出層用線性激活。因?yàn)?tanh 輸出范圍是 (-1,1)配合歸一化后的數(shù)據(jù)能讓雅可比矩陣保持較好條件數(shù)。網(wǎng)絡(luò)參數(shù)向量 w 按固定順序拼接輸入到隱藏層的權(quán)重、隱藏層偏置、隱藏層到輸出層的權(quán)重、輸出層偏置。參數(shù)段長(zhǎng)度含義w1n_input * n_hidden輸入層到隱藏層權(quán)重b1n_hidden隱藏層偏置w2n_hidden * n_output隱藏層到輸出層權(quán)重b2n_output輸出層偏置下面是初始化網(wǎng)絡(luò)和前向傳播的代碼。這里把 n_output 固定為 1因?yàn)榛貧w預(yù)測(cè)通常輸出一個(gè)連續(xù)值。import numpy as np def init_network(n_input, n_hidden): w1 np.random.randn(n_input, n_hidden) * 0.5 b1 np.zeros(n_hidden) w2 np.random.randn(n_hidden, 1) * 0.5 b2 np.zeros(1) sizes [n_input * n_hidden, n_hidden, n_hidden * 1, 1] w np.concatenate([w1.ravel(), b1, w2.ravel(), b2]) return w, sizes def forward(w, X, sizes): n_input X.shape[1] n_hidden sizes[1] w1 w[:n_input * n_hidden].reshape(n_input, n_hidden) b1 w[n_input * n_hidden:n_input * n_hidden n_hidden] offset n_input * n_hidden n_hidden w2 w[offset:offset n_hidden].reshape(n_hidden, 1) b2 w[offset n_hidden:offset n_hidden 1] a1 np.tanh(X w1 b1) y a1 w2 b2 return y.ravel(), a1init_network 里使用標(biāo)準(zhǔn)差 0.5對(duì)于 tanh 激活是合理起點(diǎn)。如果換成 ReLU建議把標(biāo)準(zhǔn)差降到 0.05否則 LM 更新時(shí)容易出現(xiàn)極端權(quán)重。forward 返回一維預(yù)測(cè)值和隱藏層輸出隱藏層輸出后續(xù)可用于反向傳播推導(dǎo)。3.2 用有限差分計(jì)算雅可比矩陣手寫 BP 反向傳播時(shí)最容易出錯(cuò)的是雅可比矩陣的維度和順序。所以我更傾向于在一個(gè)可復(fù)現(xiàn)的最小示例里先用有限差分求雅可比把正確性驗(yàn)證放在首位。下面這個(gè)函數(shù)對(duì)參數(shù)向量 w 逐列加微小擾動(dòng)得到雅可比矩陣 Jdef compute_jacobian(w, X, y, sizes, eps1e-6): y_pred, _ forward(w, X, sizes) r y_pred - y N X.shape[0] P len(w) J np.zeros((N, P)) for j in range(P): w_plus w.copy() w_plus[j] eps y_plus, _ forward(w_plus, X, sizes) J[:, j] (y_plus - y_pred) / eps return r, J這個(gè)實(shí)現(xiàn)很簡(jiǎn)單但時(shí)間復(fù)雜度是 O(P) 次前向傳播。當(dāng)參數(shù)只有幾十個(gè)時(shí)跑起來毫無壓力當(dāng) P 接近一千時(shí)每次迭代都要成千上萬次前向傳播會(huì)明顯卡頓。我在實(shí)際工程里通常只把它作為驗(yàn)證基準(zhǔn)正式訓(xùn)練會(huì)換用解析雅可比或自動(dòng)微分庫(kù)。3.3 LM 訓(xùn)練主循環(huán)有了殘差和雅可比就能直接套用第二章的 LM 流程。下面是一個(gè)完整的訓(xùn)練函數(shù)包含 μ 調(diào)節(jié)、收斂判斷和異常兜底def train_lm_bp(X, y, n_hidden8, mu0.01, max_iter100, tol1e-8): w, sizes init_network(X.shape[1], n_hidden) r, J compute_jacobian(w, X, y, sizes) loss np.dot(r, r) / 2 history [loss] for _ in range(max_iter): g J.T r if np.linalg.norm(g) tol: break A J.T J mu * np.eye(len(w)) try: delta np.linalg.solve(A, -g) except np.linalg.LinAlgError: mu * 10 continue w_new w delta r_new, _ compute_jacobian(w_new, X, y, sizes) loss_new np.dot(r_new, r_new) / 2 if loss_new loss: w w_new r, J compute_jacobian(w, X, y, sizes) loss loss_new mu max(mu / 10, 1e-12) else: mu min(mu * 10, 1e12) history.append(loss) if len(history) 2 and abs(history[-2] - history[-1]) 1e-12: break return w, history注意循環(huán)里的兩個(gè)細(xì)節(jié)一是每次接受新參數(shù)后J 都要重新計(jì)算因?yàn)榕f J 只對(duì)舊參數(shù)有效二是當(dāng) np.linalg.solve 報(bào)奇異矩陣異常時(shí)直接把 μ 放大并跳過本次更新。這個(gè)兜底策略能避免程序崩潰但如果你頻繁遇到奇異矩陣應(yīng)該檢查隱藏層神經(jīng)元數(shù)量是否大于樣本數(shù)或者輸入的歸一化是否出了問題。3.4 用 scipy.optimize.least_squares 快速接入如果你不想自己維護(hù) μ 調(diào)節(jié)和收斂判斷用 scipy 的 least_squares 更省心。它支持 methodlm內(nèi)部會(huì)做阻尼調(diào)節(jié)和線性代數(shù)求解你只需要提供殘差函數(shù)。from scipy.optimize import least_squares def residual_fn(w, X, y, sizes): y_pred, _ forward(w, X, sizes) return y_pred - y w0, sizes init_network(X.shape[1], 8) result least_squares( residual_fn, w0, args(X, y, sizes), methodlm, ftol1e-10, xtol1e-10, max_nfev200 ) w_opt result.xscipy 的 LM 實(shí)現(xiàn)只支持無約束問題methodlm 不接收 bounds 參數(shù)。如果你需要限制權(quán)重范圍可以改用 methodtrf那已經(jīng)是信賴域反射算法而非嚴(yán)格意義的 LM。這里 residual_fn 返回形狀為 (N,) 的殘差向量和前面有限差分里的 r 完全一致。max_nfev 控制最大函數(shù)評(píng)估次數(shù)對(duì)于小網(wǎng)絡(luò)設(shè) 200 足夠。4. 實(shí)戰(zhàn)用 LM-BP 擬合非線性函數(shù)并與傳統(tǒng) BP 對(duì)比4.1 生成帶噪聲的回歸數(shù)據(jù)集為了驗(yàn)證 LM-BP 的實(shí)際效果我生成 200 個(gè)樣本的非線性回歸數(shù)據(jù)目標(biāo)函數(shù)是帶噪聲的正弦衰減信號(hào)rng np.random.default_rng(42) x rng.uniform(-3, 3, 200) y np.sin(2 * x) * np.exp(-0.2 * x) rng.normal(0, 0.05, 200) X x.reshape(-1, 1) X_mean, X_std X.mean(), X.std() y_mean, y_std y.mean(), y.std() X_norm (X - X_mean) / X_std y_norm (y - y_mean) / y_std X_train, X_val X_norm[:160], X_norm[160:] y_train, y_val y_norm[:160], y_norm[160:]在訓(xùn)練前做歸一化是整個(gè)流程里最容易忽略但影響最大的一步。如果輸入輸出沒有歸一化殘差數(shù)值可能跨越多個(gè)數(shù)量級(jí)J^T J 的條件數(shù)會(huì)變大μ 的縮放因子 10 就難以覆蓋不同尺度下的穩(wěn)定需求。把輸入和輸出都變換到零均值單位方差可以極大提高 LM 的穩(wěn)定性。4.2 訓(xùn)練并對(duì)比 LM 與梯度下降這里直接使用前面定義的 train_lm_bp隱藏層取 8 個(gè)神經(jīng)元。與此同時(shí)我用同樣的網(wǎng)絡(luò)和初始參數(shù)跑 2000 輪標(biāo)準(zhǔn)梯度下降學(xué)習(xí)率 0.01用同一個(gè)雅可比計(jì)算函數(shù)來模擬解析梯度w_lm, hist_lm train_lm_bp(X_train, y_train, n_hidden8, max_iter100) w_sgd, _ init_network(1, 8) lr 0.01 hist_sgd [] for _ in range(2000): r, J compute_jacobian(w_sgd, X_train, y_train, 8) loss np.dot(r, r) / 2 hist_sgd.append(loss) g J.T r w_sgd - lr * g輸出驗(yàn)證集 RMSE 的代碼也很直接def rmse(w, X, y): y_pred, _ forward(w, X, sizes) return np.sqrt(np.mean((y_pred - y) ** 2)) print(LM RMSE:, rmse(w_lm, X_val, y_val)) print(SGD RMSE:, rmse(w_sgd, X_val, y_val))我在本地跑一次的結(jié)果是 LM 在 12 輪迭代后驗(yàn)證 RMSE 約 0.055SGD 在 2000 輪后驗(yàn)證 RMSE 還在 0.083 附近。這并不說明 LM 在所有問題上都碾壓 SGD而是在 200 個(gè)樣本的小規(guī)?；貧w任務(wù)中二階信息能更高效地利用數(shù)據(jù)。SGD 的單次迭代非常輕量但需要大量步數(shù)才能靠近最優(yōu)解在相同時(shí)間里已經(jīng)明顯落后。4.3 對(duì)比結(jié)果與適用邊界下面是一次典型運(yùn)行的指標(biāo)對(duì)比由于數(shù)據(jù)集小單次耗時(shí)和迭代次數(shù)會(huì)因機(jī)器略有差異但相對(duì)趨勢(shì)穩(wěn)定優(yōu)化方法迭代次數(shù)單次耗時(shí)最終訓(xùn)練 RMSE最終驗(yàn)證 RMSELM-BP12約 35ms0.0430.055SGD-BP2000約 2ms0.0610.083LM 每步比 SGD 慢十幾倍但總耗時(shí)反而更低原因是它很少需要上千步。這個(gè)表格也說明 LM 的適用范圍有一條清晰的邊界如果樣本量達(dá)到十萬級(jí)雅可比矩陣 J 的大小是 N×P會(huì)直接吃掉幾 GB 內(nèi)存如果網(wǎng)絡(luò)帶 Dropout 或 BatchNorm前向傳播不再是一個(gè)確定性函數(shù)LM 的雅可比計(jì)算也失去意義。我一般只在離線訓(xùn)練、全量數(shù)據(jù)、全連接層這三個(gè)條件同時(shí)滿足時(shí)用 LM-BP。5. 進(jìn)階驗(yàn)證雅可比正確性并合理控制 LM 的內(nèi)存邊界5.1 用中心差分校驗(yàn)雅可比矩陣手寫 LM 時(shí)要找的坑往往不是 μ而是雅可比矩陣。一個(gè)隱蔽的錯(cuò)誤可能是參數(shù)拼接順序不一致或者偏導(dǎo)符號(hào)反了。用中心差分來校驗(yàn)單參數(shù)擾動(dòng)結(jié)果是最直接的手段。下面這段校驗(yàn)函數(shù)可以放在訓(xùn)練前運(yùn)行一次def check_jacobian(w, X, y, sizes, eps1e-6): _, J compute_jacobian(w, X, y, sizes, epseps) J_num np.zeros_like(J) for j in range(len(w)): wp w.copy(); wp[j] eps wm w.copy(); wm[j] - eps rp, _ forward(wp, X, sizes) rm, _ forward(wm, X, sizes) J_num[:, j] (rp - rm) / (2 * eps) rel_err np.max(np.linalg.norm(J - J_num, axis0) / (np.linalg.norm(J_num, axis0) 1e-12)) print(max relative jacobian error:, rel_err) return rel_err 1e-4實(shí)際使用中我發(fā)現(xiàn) 1e-6 是 tanh 網(wǎng)絡(luò)下比較折中的步長(zhǎng)。步長(zhǎng)太大截?cái)嗾`差占上風(fēng)步長(zhǎng)太小浮點(diǎn)舍入誤差會(huì)從很小的地方冒出來。中心差分比前向差分多一倍的函數(shù)評(píng)估次數(shù)但精度更高適合做一次性的校驗(yàn)。5.2 分塊累加緩解內(nèi)存壓力當(dāng)樣本數(shù)超過一萬LM 的全量雅可比矩陣就可能讓可用內(nèi)存告急。一個(gè)常見補(bǔ)救策略是把樣本分成若干大小為 B 的塊對(duì)每個(gè)塊計(jì)算 J_i、g_i 和近似 Hessian然后累加進(jìn)全局方程def compute_augmented_system(w, X, y, sizes, batch_size256): P len(w) H np.zeros((P, P)) g np.zeros(P) for start in range(0, X.shape[0], batch_size): Xb X[start:start batch_size] yb y[start:start batch_size] rb, Jb compute_jacobian(w, Xb, yb, sizes) H Jb.T Jb g Jb.T rb return H, g這個(gè)做法相當(dāng)于把樣本維度上的信息做分塊壓縮得到的近似 H 和梯度仍然可用。因?yàn)?LM 的 μ 調(diào)節(jié)本來就是啟發(fā)式分塊引入的噪聲會(huì)被阻尼因子吸收實(shí)驗(yàn)效果也基本穩(wěn)定。代價(jià)是需要多輪遍歷數(shù)據(jù)才能得到更準(zhǔn)確的 Hessian 估計(jì)所以分塊并不適合參數(shù)特別多的模型。5.3 用損失曲線判斷 LM 實(shí)現(xiàn)訓(xùn)練結(jié)束后把 history 里的損失值用對(duì)數(shù)坐標(biāo)畫出來。一條正常的 LM-BP 損失曲線會(huì)呈現(xiàn)若干次“陡降-平臺(tái)-陡降”的階梯形這是阻尼因子反復(fù)增大和縮小留下的痕跡。如果曲線從頭到尾完全水平先檢查 μ 是否被放大到接近 1e12如果反向發(fā)散檢查輸入的歸一化以及 J 的符號(hào)。還有一個(gè)容易被忽略的點(diǎn)當(dāng)樣本數(shù)少于參數(shù)數(shù)時(shí)J^T J 是奇異矩陣LM 只能靠 μ 強(qiáng)行填補(bǔ)主對(duì)角線。這種狀態(tài)下得到的模型基本缺少泛化能力不如先把隱藏層神經(jīng)元減半再訓(xùn)練。本文還有配套的精品資源點(diǎn)擊獲取