簡介波士頓房價預測是BP神經網絡回歸任務的經典案例該實現用Python完成前向與反向傳播適合正在學習機器學習、希望掌握反向傳播細節的初學者。壓縮包僅2個文件一個Python源碼負責前向傳播、反向傳播、方差損失計算及權重更新另一個CSV數據集包含犯罪率、房間數量、房齡等14個特征預測目標為1978年波士頓郊區房屋的中位價格整個資源包僅8KB結構簡潔易于閱讀。目前已有21718人學習下載代碼覆蓋從數據加載、預處理到網絡訓練與評估的完整流程。整體來看通過這份實現讀者可以直觀對照BP算法每一步的矩陣運算理解梯度如何從輸出層反向傳遞并可直接替換其他回歸數據集進行拓展實驗是初學者入門神經網絡回歸預測的實用參考。 房價預測是個特別適合練手的回歸問題而且BP神經網絡剛好是入門深度學習的第一道坎。我最近抽空用Python手寫了一個BP神經網絡用真實的加州房價數據跑了一遍預測順便把Scikit-learn里的MLPRegressor也對比了一下。這篇文章把我踩過的坑、調參思路、完整代碼都整理出來適合剛學完Python基礎、想搞懂BP神經網絡到底怎么“學習”的朋友也適合需要用代碼快速跑通一個回歸任務的人。1. 房價預測BP神經網絡的整體思路1.1 為什么房價預測適合用BP神經網絡房價預測本質上是一個多元回歸問題輸入房屋面積、臥室數量、地理位置等特征輸出一個連續的價格數值。傳統線性回歸能處理簡單關系但真實房價和特征之間往往存在非線性比如面積對價格的邊際影響在不同區間差異很大這時BP神經網絡就派上用場了。BP神經網絡通過隱藏層和非線性激活函數可以逼近任意復雜的函數關系這也是它在表格數據回歸任務里依然有生命力的原因。我選擇這個項目還有一個考慮數據容易獲取。以前大家常用波士頓房價數據集但Scikit-learn因為數據存在倫理問題已經移除了它現在最順手的是fetch_california_housing里面有20640個樣本、8個特征目標是街區房價中位數。這個數據集大小適中BP神經網絡跑起來很快非常適合學習和做實驗。1.2 項目技術選型手寫NumPy還是現成框架這個項目我做了兩版。第一版用純NumPy從零手寫BP神經網絡目的不是重復造輪子而是真正理解反向傳播的每一步在干什么。第二版用MLPRegressor三行代碼就能跑完適合快速驗證效果和對比結果。手寫版的優勢在于透明網絡權重怎么初始化、梯度怎么回傳、學習率怎么影響收斂你都能直觀看到。缺點是代碼里需要對矩陣維度格外小心一個轉置寫錯可能調一晚上?？蚣馨娴膬瀯菔欠庋b了Adam優化器、Relu激活函數、自動的權重初始化效率和穩定性都更好。所以我建議新手先把手寫版跑通再用框架版做正式實驗兩條路都走一遍基礎會扎實很多。1.3 整體流程與核心步驟整個項目的流程大概是加載數據、劃分訓練集和測試集、特征標準化、標簽標準化、搭建BP網絡、訓練、反標準化預測結果、用RMSE和R2評價效果。這里最重要的一個環節是數據歸一化后面我會單獨講。先把流程框架放在心里后面代碼就能對號入座。2. BP神經網絡核心原理與數據預處理2.1 正向傳播與反向傳播到底在做什么BP神經網絡的核心就是“預測-算誤差-反推梯度-更新權重”四個動作。正向傳播時輸入特征從輸入層進入經過隱藏層每層先用矩陣乘法算出加權和再經過激活函數做非線性變換最后在輸出層得到預測值。對于回歸任務輸出層通常不加激活函數直接把最后一個線性輸出作為預測價格。反向傳播則是把預測值和真實值的誤差從輸出層向輸入層一層一層傳回去。每次傳一層就根據鏈式法則算出每個權重對誤差的貢獻量這個貢獻量就是梯度。然后沿著梯度的反方向調整權重讓誤差變小。你可以把訓練過程想象成下山梯度告訴你哪個方向上升最陡反方向就是下山方向而學習率是每一步邁多大。2.2 數據歸一化預測是否準確的關鍵一步這一步極其重要。加州房價數據里MedInc收入中位數在單位量級可能是幾而HouseAge可能是幾十Population可能是幾百甚至上千。如果不做歸一化BP網絡在計算梯度時會被大數值特征主導小數值特征幾乎學不到信息導致模型收斂慢甚至不收斂。常用做法是Z-score標準化也就是每個特征減去均值再除以標準差讓數據變成均值為0、方差為1的分布。需要注意的是fit_transform只能用在訓練集上測試集要直接用訓練集擬合好的scaler做transform否則測試數據的信息會泄漏進模型評估結果會虛高。這個小細節很多人會忽視但它是評估可信度的基礎。2.3 訓練集/驗證集劃分與評估指標我習慣用80%的數據做訓練20%做測試并用random_state42固定隨機種子保證實驗可復現。回歸任務里最常用的兩個指標是RMSE和R2。RMSE表示預測值和真實值的平均誤差單位就是美元方便直觀理解R2表示模型解釋了目標變量多少比例的方差越接近1說明擬合越好。這里我建議只保留訓練集和測試集不需要單獨劃分驗證集。因為BP網絡規模不大不是用來做超參數比賽的劃分測試集只是檢驗泛化能力。如果后面做正經調參再引入交叉驗證也不遲。3. Python完整實現從零手寫BP網絡3.1 環境準備與依賴安裝我使用的環境是Python 3.10配合VSCode和Jupyter Notebook。核心依賴只有numpy、pandas、scikit-learn、matplotlib如果你還想做SHAP分析再加一個shap。在命令行里執行下面命令即可pip install numpy pandas scikit-learn matplotlib shap不建議直接裝最新的Python 3.13部分庫的預編譯包可能還沒跟上。老老實實用3.10或3.11最省事。如果你用的是Anaconda可以在Jupyter Notebook里直接跑依賴基本都齊全了。3.2 加載并預處理房價數據代碼先從scikit-learn加載數據集然后做標準化。這部分是整個項目的“地基”標準化做不好后面模型再高級也沒用。我順手把標簽也做了標準化因為手寫BP網絡輸出層用的是線性輸出標簽如果數值特別大反向傳播時的梯度就會出現數值不穩定的情況。import numpy as np from sklearn.datasets import fetch_california_housing from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler data fetch_california_housing() X data.data y data.target.reshape(-1, 1) # 變成一列方便矩陣運算 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) scaler_X StandardScaler() X_train_s scaler_X.fit_transform(X_train) X_test_s scaler_X.transform(X_test) scaler_y StandardScaler() y_train_s scaler_y.fit_transform(y_train) y_test_s scaler_y.transform(y_test)這段代碼里最需要注意的是y的reshape如果不把它變成(樣本數, 1)后面矩陣運算時維度會對不上。我第一次寫的時候就在這里栽過跟頭報錯了半天才反應過來。3.3 手寫BP神經網絡類下面是我手寫的一個極簡但完整的BP網絡。它只有一個隱藏層激活函數用Sigmoid。真實項目里Sigmoid用得越來越少主要是容易梯度消失但作為教學完全夠用而且能讓你直觀感受到非線性的作用。class BPNetwork: def __init__(self, n_input, n_hidden, n_output, lr0.01): self.lr lr self.w1 np.random.randn(n_input, n_hidden) * 0.1 self.b1 np.zeros((1, n_hidden)) self.w2 np.random.randn(n_hidden, n_output) * 0.1 self.b2 np.zeros((1, n_output)) def sigmoid(self, x): return 1 / (1 np.exp(-x)) def forward(self, X): self.z1 X self.w1 self.b1 self.a1 self.sigmoid(self.z1) self.z2 self.a1 self.w2 self.b2 self.a2 self.z2 # 回歸問題輸出層不加激活函數 return self.a2 def backward(self, X, y): m X.shape[0] delta2 (self.a2 - y) / m delta1 (delta2 self.w2.T) * self.a1 * (1 - self.a1) self.w2 - self.lr * (self.a1.T delta2) self.b2 - self.lr * np.sum(delta2, axis0, keepdimsTrue) self.w1 - self.lr * (X.T delta1) self.b1 - self.lr * np.sum(delta1, axis0, keepdimsTrue) def train(self, X, y, epochs): for i in range(epochs): pred self.forward(X) self.backward(X, y) loss np.mean((pred - y) ** 2) if i % 100 0: print(fepoch {i}, loss {loss:.6f})權重初始化我固定乘以0.1目的是讓初始權重保持在小范圍避免一上來就進入Sigmoid的飽和區。反向傳播里的delta1是隱藏層的誤差項a1 * (1 - a1)就是Sigmoid的導數。這些細節如果你第一次見建議拿筆和紙把矩陣維度一步步寫出來比直接抄代碼有用得多。3.4 訓練模型并預測房價訓練時隱藏層節點數我選了16。輸入特征8個輸出1個價格值隱藏層16個節點已經能學到不少非線性關系。學習率0.01跑1000輪。預測結果是經過標準化后的值所以最終價格要再用scaler_y.inverse_transform還原成真實美元價格。bp BPNetwork(X_train_s.shape[1], 16, 1, lr0.01) bp.train(X_train_s, y_train_s, epochs1000) pred_s bp.forward(X_test_s) pred scaler_y.inverse_transform(pred_s)訓練過程里如果loss一直下降說明網絡在正常學習如果loss原地抖動大概率是學習率太大或者數據標準化沒做好。手寫版最大的麻煩是訓練速度慢1000輪在普通電腦上也就幾秒鐘完全可以接受。3.5 性能評估與可視化訓練完后一定要算量化指標。RMSE和R2是兩個最直接的數值能告訴你模型到底行不行。畫圖則能看到預測值和真實值的分布如果點都集中在對角線附近說明預測質量好如果點亂成一團那就要回頭檢查數據或網絡結構了。from sklearn.metrics import mean_squared_error, r2_score import matplotlib.pyplot as plt rmse np.sqrt(mean_squared_error(y_test, pred)) r2 r2_score(y_test, pred) print(fRMSE: {rmse:.2f} 美元) print(fR2: {r2:.4f}) plt.scatter(y_test, pred, alpha0.5) plt.xlabel(真實房價) plt.ylabel(預測房價) plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], r--) plt.show()我第一次跑出來的RMSE大約在0.8萬到0.9萬美元之間R2在0.6左右。對于只有一個隱藏層、沒有做任何調參的手寫BP網絡來說這個結果已經能說明模型學到了一些規律同時還有很大的提升空間。4. 速成方案Scikit-learn實現MLP回歸4.1 三行代碼完成訓練與預測如果你不想從零手寫只想要一個能穩定出結果的方案直接用Scikit-learn的MLPRegressor。它底層幫你實現了多層感知機還帶Adam優化器、Relu激活函數和自適應學習率性能比我手寫版穩定很多。from sklearn.neural_network import MLPRegressor mlp MLPRegressor( hidden_layer_sizes(32, 16), activationrelu, solveradam, max_iter1000, random_state42 ) mlp.fit(X_train_s, y_train_s.ravel()) pred_mlp scaler_y.inverse_transform( mlp.predict(X_test_s).reshape(-1, 1) ) rmse_mlp np.sqrt(mean_squared_error(y_test, pred_mlp)) r2_mlp r2_score(y_test, pred_mlp) print(fMLP RMSE: {rmse_mlp:.2f} 美元, R2: {r2_mlp:.4f})這里y_train_s.ravel()是必須的因為fit方法要求目標變量是一維數組不像手寫版需要列向量。如果忘記轉換會出現奇怪的維度錯誤。4.2 關鍵參數解析MLPRegressor里最核心的參數有三個。第一個是hidden_layer_sizes我寫的是(32, 16)表示兩層隱藏層第一層32個節點第二層16個節點層數越多擬合能力越強但也越容易過擬合。第二個是activation這里用的relu它比Sigmoid更適合多層網絡能緩解梯度消失。第三個是solveradam是自適應學習率優化器對新手最友好基本不用手動調學習率。還有一個容易忽略的參數是max_iter。它不一定代表真實迭代次數因為模型達到收斂條件后會提前停止。如果你發現loss還在下降但訓練結束了可以把max_iter調大或者降低tol默認值讓模型多跑一會兒。我常用tol1e-4效果不錯。4.3 手寫版和框架版怎么選一句話總結想搞清楚原理選手寫版想快速實驗和部署選框架版。手寫版適合學習因為你能看到每一步計算框架版適合出結果因為它封裝了大量工程優化。手寫版在隱藏層為16個節點、Sigmoid激活函數、學習率0.01的條件下R2大概在0.6而MLPRegressor用兩層隱藏層加ReluR2能到0.75左右。差距主要來自Relu和Adam而不是“框架”本身。所以我的建議是學習階段兩個都寫一遍項目階段直接上框架。等以后接觸PyTorch你會發現MLPRegressor的核心概念其實一脈相承。5. 參數調優與模型解釋進階5.1 隱藏層節點數與激活函數選擇隱藏層節點數沒有標準答案但有一些經驗法則。節點太少網絡學不到復雜規律欠擬合節點太多會把訓練集中的噪聲也背下來過擬合。對8個輸入特征的房價任務一層隱藏層16到32個節點就夠用了如果數據量更大、特征更多再考慮兩層結構。激活函數方面Sigmoid適合淺層網絡Relu適合深層網絡。在房價預測這種連續回歸任務里Relu通常比Sigmoid效果好而且訓練速度快。輸出層依然保持線性不要加任何激活函數否則會限制預測范圍。5.2 學習率、正則化與早停學習率控制著權重更新步長。太大會導致loss震蕩太小則收斂極慢。手寫版里我用0.01用框架版可以放心交給Adam自適應學習率。另一個重要的防過擬合手段是正則化MLPRegressor的alpha參數對應L2懲罰項數值越大正則化越強默認0.0001。如果你發現訓練集R2很高但測試集明顯變差那就把alpha調大一點。早停是另一個實用技巧。MLPRegressor自帶early_stoppingTrue參數它會在驗證集loss不再下降時提前終止訓練避免白白浪費算力。這個參數在跑大數據集時特別有用。5.3 用SHAP解釋哪些因素影響房價模型訓練好以后不理解它為什么這樣預測是很多新手的通病。SHAP是目前最主流的模型解釋工具可以算出每個特征對預測結果貢獻的方向和大小。對于MLPRegressor可以這樣用import shap explainer shap.Explainer(mlp, X_train_s) shap_values explainer(X_test_s) shap.summary_plot(shap_values, X_test_s, feature_namesdata.feature_names)運行后你會看到一張圖特征按重要性從高到低排列。通常MedInc收入中位數會排在最前面說明它和房價關聯最強。用SHAP不是為了炫技而是幫你判斷模型是否學到了符合常識的規律如果某個特征的影響方向和直覺不符就值得回頭檢查數據。6. 常見問題與排查技巧6.1 損失不降或出現NaN訓練時loss如果一直是NaN最常見的原因是學習率過大導致梯度更新把權重推到數值溢出。解決方法是把學習率調小比如從0.01變成0.001或者使用更小的權重初始化。手寫版里我初始化乘0.1你要是還遇到NaN可以再乘0.5或0.1。還有一個原因是輸入數據沒有標準化。特征數值太大加權和就會很大經過激活函數后梯度要么飽和要么爆炸。先標準化再談調參。如果你用框架版可以試試max_iter調大一點同時把learning_rate_init設為0.001。6.2 預測值全部集中在均值附近這是回歸模型最常見的“擺爛”表現預測值都在訓練集均值附近R2接近0。原因是網絡太簡單或者特征和目標之間的關系沒有被充分學習。我遇到過這種情況多半是只有一層隱藏層節點數太少或者Sigmoid到了輸出層附近過于飽和。排查思路是看訓練集loss有沒有降下來。如果訓練集loss也很高說明欠擬合增加隱藏層節點數、加一層隱藏層、換Relu激活函數如果訓練集loss很低但測試集預測還是像均值那可能是過擬合或數據泄漏需要加正則化或重新檢查數據劃分。6.3 特征量綱影響大這個問題在沒做歸一化時特別明顯。比如人口數值是幾千收入是幾如果不歸一化權重更新會被人口主導收入特征幾乎學不到東西。我在前面反復強調標準化就是因為這個坑太普遍了。另外一個容易被忽視的細節是測試集標準化必須復用訓練集的scaler不能自己重新算均值和標準差。如果你發現某個特征對結果的影響力明顯異常先檢查是不是標準化范圍不對再看SHAP圖里這個特征的真實貢獻。6.4 常見問題速查表現象可能原因解決方法loss為NaN學習率過大、權重初始化過大、輸入未標準化調小學習率、減小初始化倍數、做Z-score標準化預測值集中在均值附近網絡容量不足、欠擬合增加隱藏層節點數、增加層數、換Relu激活訓練集R2高、測試集R2低過擬合增大alpha正則化、加early_stopping、減少隱藏層節點訓練loss不下降數據未歸一化、特征量綱差異大標準化所有輸入特征標簽也最好標準化代碼報維度錯誤忘記把y變成列向量或行向量統一用reshape(-1, 1)或ravel()根據庫的要求來最后再分享一個我自己的實操技巧每次改代碼時先把隨機種子固定住然后只改一個變量對比前后兩次的結果。比如這次只改學習率下次只改隱藏層節點數否則你很難判斷到底是哪個改動讓結果變好了。BP神經網絡的可復現性本來就不算高不固定隨機種子的話后臺每次跑出來的指標都不同很容易干擾判斷。這個項目做完之后我對反向傳播的恐懼基本消失了也明白了為什么框架能“一鍵訓練”。如果你也想練手建議在加州房價數據上跑通之后把數據源換成自己城市最近幾年的二手房成交記錄特征加上地段、樓層、裝修程度你會更直觀地感受到特征工程和模型調參的魅力。本文還有配套的精品資源點擊獲取 Python手寫BP神經網絡實現加州房價預測實戰教程
簡介波士頓房價預測是BP神經網絡回歸任務的經典案例該實現用Python完成前向與反向傳播適合正在學習機器學習、希望掌握反向傳播細節的初學者。壓縮包僅2個文件一個Python源碼負責前向傳播、反向傳播、方差損失計算及權重更新另一個CSV數據集包含犯罪率、房間數量、房齡等14個特征預測目標為1978年波士頓郊區房屋的中位價格整個資源包僅8KB結構簡潔易于閱讀。目前已有21718人學習下載代碼覆蓋從數據加載、預處理到網絡訓練與評估的完整流程。整體來看通過這份實現讀者可以直觀對照BP算法每一步的矩陣運算理解梯度如何從輸出層反向傳遞并可直接替換其他回歸數據集進行拓展實驗是初學者入門神經網絡回歸預測的實用參考。 房價預測是個特別適合練手的回歸問題而且BP神經網絡剛好是入門深度學習的第一道坎。我最近抽空用Python手寫了一個BP神經網絡用真實的加州房價數據跑了一遍預測順便把Scikit-learn里的MLPRegressor也對比了一下。這篇文章把我踩過的坑、調參思路、完整代碼都整理出來適合剛學完Python基礎、想搞懂BP神經網絡到底怎么“學習”的朋友也適合需要用代碼快速跑通一個回歸任務的人。1. 房價預測BP神經網絡的整體思路1.1 為什么房價預測適合用BP神經網絡房價預測本質上是一個多元回歸問題輸入房屋面積、臥室數量、地理位置等特征輸出一個連續的價格數值。傳統線性回歸能處理簡單關系但真實房價和特征之間往往存在非線性比如面積對價格的邊際影響在不同區間差異很大這時BP神經網絡就派上用場了。BP神經網絡通過隱藏層和非線性激活函數可以逼近任意復雜的函數關系這也是它在表格數據回歸任務里依然有生命力的原因。我選擇這個項目還有一個考慮數據容易獲取。以前大家常用波士頓房價數據集但Scikit-learn因為數據存在倫理問題已經移除了它現在最順手的是fetch_california_housing里面有20640個樣本、8個特征目標是街區房價中位數。這個數據集大小適中BP神經網絡跑起來很快非常適合學習和做實驗。1.2 項目技術選型手寫NumPy還是現成框架這個項目我做了兩版。第一版用純NumPy從零手寫BP神經網絡目的不是重復造輪子而是真正理解反向傳播的每一步在干什么。第二版用MLPRegressor三行代碼就能跑完適合快速驗證效果和對比結果。手寫版的優勢在于透明網絡權重怎么初始化、梯度怎么回傳、學習率怎么影響收斂你都能直觀看到。缺點是代碼里需要對矩陣維度格外小心一個轉置寫錯可能調一晚上?？蚣馨娴膬瀯菔欠庋b了Adam優化器、Relu激活函數、自動的權重初始化效率和穩定性都更好。所以我建議新手先把手寫版跑通再用框架版做正式實驗兩條路都走一遍基礎會扎實很多。1.3 整體流程與核心步驟整個項目的流程大概是加載數據、劃分訓練集和測試集、特征標準化、標簽標準化、搭建BP網絡、訓練、反標準化預測結果、用RMSE和R2評價效果。這里最重要的一個環節是數據歸一化后面我會單獨講。先把流程框架放在心里后面代碼就能對號入座。2. BP神經網絡核心原理與數據預處理2.1 正向傳播與反向傳播到底在做什么BP神經網絡的核心就是“預測-算誤差-反推梯度-更新權重”四個動作。正向傳播時輸入特征從輸入層進入經過隱藏層每層先用矩陣乘法算出加權和再經過激活函數做非線性變換最后在輸出層得到預測值。對于回歸任務輸出層通常不加激活函數直接把最后一個線性輸出作為預測價格。反向傳播則是把預測值和真實值的誤差從輸出層向輸入層一層一層傳回去。每次傳一層就根據鏈式法則算出每個權重對誤差的貢獻量這個貢獻量就是梯度。然后沿著梯度的反方向調整權重讓誤差變小。你可以把訓練過程想象成下山梯度告訴你哪個方向上升最陡反方向就是下山方向而學習率是每一步邁多大。2.2 數據歸一化預測是否準確的關鍵一步這一步極其重要。加州房價數據里MedInc收入中位數在單位量級可能是幾而HouseAge可能是幾十Population可能是幾百甚至上千。如果不做歸一化BP網絡在計算梯度時會被大數值特征主導小數值特征幾乎學不到信息導致模型收斂慢甚至不收斂。常用做法是Z-score標準化也就是每個特征減去均值再除以標準差讓數據變成均值為0、方差為1的分布。需要注意的是fit_transform只能用在訓練集上測試集要直接用訓練集擬合好的scaler做transform否則測試數據的信息會泄漏進模型評估結果會虛高。這個小細節很多人會忽視但它是評估可信度的基礎。2.3 訓練集/驗證集劃分與評估指標我習慣用80%的數據做訓練20%做測試并用random_state42固定隨機種子保證實驗可復現。回歸任務里最常用的兩個指標是RMSE和R2。RMSE表示預測值和真實值的平均誤差單位就是美元方便直觀理解R2表示模型解釋了目標變量多少比例的方差越接近1說明擬合越好。這里我建議只保留訓練集和測試集不需要單獨劃分驗證集。因為BP網絡規模不大不是用來做超參數比賽的劃分測試集只是檢驗泛化能力。如果后面做正經調參再引入交叉驗證也不遲。3. Python完整實現從零手寫BP網絡3.1 環境準備與依賴安裝我使用的環境是Python 3.10配合VSCode和Jupyter Notebook。核心依賴只有numpy、pandas、scikit-learn、matplotlib如果你還想做SHAP分析再加一個shap。在命令行里執行下面命令即可pip install numpy pandas scikit-learn matplotlib shap不建議直接裝最新的Python 3.13部分庫的預編譯包可能還沒跟上。老老實實用3.10或3.11最省事。如果你用的是Anaconda可以在Jupyter Notebook里直接跑依賴基本都齊全了。3.2 加載并預處理房價數據代碼先從scikit-learn加載數據集然后做標準化。這部分是整個項目的“地基”標準化做不好后面模型再高級也沒用。我順手把標簽也做了標準化因為手寫BP網絡輸出層用的是線性輸出標簽如果數值特別大反向傳播時的梯度就會出現數值不穩定的情況。import numpy as np from sklearn.datasets import fetch_california_housing from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler data fetch_california_housing() X data.data y data.target.reshape(-1, 1) # 變成一列方便矩陣運算 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) scaler_X StandardScaler() X_train_s scaler_X.fit_transform(X_train) X_test_s scaler_X.transform(X_test) scaler_y StandardScaler() y_train_s scaler_y.fit_transform(y_train) y_test_s scaler_y.transform(y_test)這段代碼里最需要注意的是y的reshape如果不把它變成(樣本數, 1)后面矩陣運算時維度會對不上。我第一次寫的時候就在這里栽過跟頭報錯了半天才反應過來。3.3 手寫BP神經網絡類下面是我手寫的一個極簡但完整的BP網絡。它只有一個隱藏層激活函數用Sigmoid。真實項目里Sigmoid用得越來越少主要是容易梯度消失但作為教學完全夠用而且能讓你直觀感受到非線性的作用。class BPNetwork: def __init__(self, n_input, n_hidden, n_output, lr0.01): self.lr lr self.w1 np.random.randn(n_input, n_hidden) * 0.1 self.b1 np.zeros((1, n_hidden)) self.w2 np.random.randn(n_hidden, n_output) * 0.1 self.b2 np.zeros((1, n_output)) def sigmoid(self, x): return 1 / (1 np.exp(-x)) def forward(self, X): self.z1 X self.w1 self.b1 self.a1 self.sigmoid(self.z1) self.z2 self.a1 self.w2 self.b2 self.a2 self.z2 # 回歸問題輸出層不加激活函數 return self.a2 def backward(self, X, y): m X.shape[0] delta2 (self.a2 - y) / m delta1 (delta2 self.w2.T) * self.a1 * (1 - self.a1) self.w2 - self.lr * (self.a1.T delta2) self.b2 - self.lr * np.sum(delta2, axis0, keepdimsTrue) self.w1 - self.lr * (X.T delta1) self.b1 - self.lr * np.sum(delta1, axis0, keepdimsTrue) def train(self, X, y, epochs): for i in range(epochs): pred self.forward(X) self.backward(X, y) loss np.mean((pred - y) ** 2) if i % 100 0: print(fepoch {i}, loss {loss:.6f})權重初始化我固定乘以0.1目的是讓初始權重保持在小范圍避免一上來就進入Sigmoid的飽和區。反向傳播里的delta1是隱藏層的誤差項a1 * (1 - a1)就是Sigmoid的導數。這些細節如果你第一次見建議拿筆和紙把矩陣維度一步步寫出來比直接抄代碼有用得多。3.4 訓練模型并預測房價訓練時隱藏層節點數我選了16。輸入特征8個輸出1個價格值隱藏層16個節點已經能學到不少非線性關系。學習率0.01跑1000輪。預測結果是經過標準化后的值所以最終價格要再用scaler_y.inverse_transform還原成真實美元價格。bp BPNetwork(X_train_s.shape[1], 16, 1, lr0.01) bp.train(X_train_s, y_train_s, epochs1000) pred_s bp.forward(X_test_s) pred scaler_y.inverse_transform(pred_s)訓練過程里如果loss一直下降說明網絡在正常學習如果loss原地抖動大概率是學習率太大或者數據標準化沒做好。手寫版最大的麻煩是訓練速度慢1000輪在普通電腦上也就幾秒鐘完全可以接受。3.5 性能評估與可視化訓練完后一定要算量化指標。RMSE和R2是兩個最直接的數值能告訴你模型到底行不行。畫圖則能看到預測值和真實值的分布如果點都集中在對角線附近說明預測質量好如果點亂成一團那就要回頭檢查數據或網絡結構了。from sklearn.metrics import mean_squared_error, r2_score import matplotlib.pyplot as plt rmse np.sqrt(mean_squared_error(y_test, pred)) r2 r2_score(y_test, pred) print(fRMSE: {rmse:.2f} 美元) print(fR2: {r2:.4f}) plt.scatter(y_test, pred, alpha0.5) plt.xlabel(真實房價) plt.ylabel(預測房價) plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], r--) plt.show()我第一次跑出來的RMSE大約在0.8萬到0.9萬美元之間R2在0.6左右。對于只有一個隱藏層、沒有做任何調參的手寫BP網絡來說這個結果已經能說明模型學到了一些規律同時還有很大的提升空間。4. 速成方案Scikit-learn實現MLP回歸4.1 三行代碼完成訓練與預測如果你不想從零手寫只想要一個能穩定出結果的方案直接用Scikit-learn的MLPRegressor。它底層幫你實現了多層感知機還帶Adam優化器、Relu激活函數和自適應學習率性能比我手寫版穩定很多。from sklearn.neural_network import MLPRegressor mlp MLPRegressor( hidden_layer_sizes(32, 16), activationrelu, solveradam, max_iter1000, random_state42 ) mlp.fit(X_train_s, y_train_s.ravel()) pred_mlp scaler_y.inverse_transform( mlp.predict(X_test_s).reshape(-1, 1) ) rmse_mlp np.sqrt(mean_squared_error(y_test, pred_mlp)) r2_mlp r2_score(y_test, pred_mlp) print(fMLP RMSE: {rmse_mlp:.2f} 美元, R2: {r2_mlp:.4f})這里y_train_s.ravel()是必須的因為fit方法要求目標變量是一維數組不像手寫版需要列向量。如果忘記轉換會出現奇怪的維度錯誤。4.2 關鍵參數解析MLPRegressor里最核心的參數有三個。第一個是hidden_layer_sizes我寫的是(32, 16)表示兩層隱藏層第一層32個節點第二層16個節點層數越多擬合能力越強但也越容易過擬合。第二個是activation這里用的relu它比Sigmoid更適合多層網絡能緩解梯度消失。第三個是solveradam是自適應學習率優化器對新手最友好基本不用手動調學習率。還有一個容易忽略的參數是max_iter。它不一定代表真實迭代次數因為模型達到收斂條件后會提前停止。如果你發現loss還在下降但訓練結束了可以把max_iter調大或者降低tol默認值讓模型多跑一會兒。我常用tol1e-4效果不錯。4.3 手寫版和框架版怎么選一句話總結想搞清楚原理選手寫版想快速實驗和部署選框架版。手寫版適合學習因為你能看到每一步計算框架版適合出結果因為它封裝了大量工程優化。手寫版在隱藏層為16個節點、Sigmoid激活函數、學習率0.01的條件下R2大概在0.6而MLPRegressor用兩層隱藏層加ReluR2能到0.75左右。差距主要來自Relu和Adam而不是“框架”本身。所以我的建議是學習階段兩個都寫一遍項目階段直接上框架。等以后接觸PyTorch你會發現MLPRegressor的核心概念其實一脈相承。5. 參數調優與模型解釋進階5.1 隱藏層節點數與激活函數選擇隱藏層節點數沒有標準答案但有一些經驗法則。節點太少網絡學不到復雜規律欠擬合節點太多會把訓練集中的噪聲也背下來過擬合。對8個輸入特征的房價任務一層隱藏層16到32個節點就夠用了如果數據量更大、特征更多再考慮兩層結構。激活函數方面Sigmoid適合淺層網絡Relu適合深層網絡。在房價預測這種連續回歸任務里Relu通常比Sigmoid效果好而且訓練速度快。輸出層依然保持線性不要加任何激活函數否則會限制預測范圍。5.2 學習率、正則化與早停學習率控制著權重更新步長。太大會導致loss震蕩太小則收斂極慢。手寫版里我用0.01用框架版可以放心交給Adam自適應學習率。另一個重要的防過擬合手段是正則化MLPRegressor的alpha參數對應L2懲罰項數值越大正則化越強默認0.0001。如果你發現訓練集R2很高但測試集明顯變差那就把alpha調大一點。早停是另一個實用技巧。MLPRegressor自帶early_stoppingTrue參數它會在驗證集loss不再下降時提前終止訓練避免白白浪費算力。這個參數在跑大數據集時特別有用。5.3 用SHAP解釋哪些因素影響房價模型訓練好以后不理解它為什么這樣預測是很多新手的通病。SHAP是目前最主流的模型解釋工具可以算出每個特征對預測結果貢獻的方向和大小。對于MLPRegressor可以這樣用import shap explainer shap.Explainer(mlp, X_train_s) shap_values explainer(X_test_s) shap.summary_plot(shap_values, X_test_s, feature_namesdata.feature_names)運行后你會看到一張圖特征按重要性從高到低排列。通常MedInc收入中位數會排在最前面說明它和房價關聯最強。用SHAP不是為了炫技而是幫你判斷模型是否學到了符合常識的規律如果某個特征的影響方向和直覺不符就值得回頭檢查數據。6. 常見問題與排查技巧6.1 損失不降或出現NaN訓練時loss如果一直是NaN最常見的原因是學習率過大導致梯度更新把權重推到數值溢出。解決方法是把學習率調小比如從0.01變成0.001或者使用更小的權重初始化。手寫版里我初始化乘0.1你要是還遇到NaN可以再乘0.5或0.1。還有一個原因是輸入數據沒有標準化。特征數值太大加權和就會很大經過激活函數后梯度要么飽和要么爆炸。先標準化再談調參。如果你用框架版可以試試max_iter調大一點同時把learning_rate_init設為0.001。6.2 預測值全部集中在均值附近這是回歸模型最常見的“擺爛”表現預測值都在訓練集均值附近R2接近0。原因是網絡太簡單或者特征和目標之間的關系沒有被充分學習。我遇到過這種情況多半是只有一層隱藏層節點數太少或者Sigmoid到了輸出層附近過于飽和。排查思路是看訓練集loss有沒有降下來。如果訓練集loss也很高說明欠擬合增加隱藏層節點數、加一層隱藏層、換Relu激活函數如果訓練集loss很低但測試集預測還是像均值那可能是過擬合或數據泄漏需要加正則化或重新檢查數據劃分。6.3 特征量綱影響大這個問題在沒做歸一化時特別明顯。比如人口數值是幾千收入是幾如果不歸一化權重更新會被人口主導收入特征幾乎學不到東西。我在前面反復強調標準化就是因為這個坑太普遍了。另外一個容易被忽視的細節是測試集標準化必須復用訓練集的scaler不能自己重新算均值和標準差。如果你發現某個特征對結果的影響力明顯異常先檢查是不是標準化范圍不對再看SHAP圖里這個特征的真實貢獻。6.4 常見問題速查表現象可能原因解決方法loss為NaN學習率過大、權重初始化過大、輸入未標準化調小學習率、減小初始化倍數、做Z-score標準化預測值集中在均值附近網絡容量不足、欠擬合增加隱藏層節點數、增加層數、換Relu激活訓練集R2高、測試集R2低過擬合增大alpha正則化、加early_stopping、減少隱藏層節點訓練loss不下降數據未歸一化、特征量綱差異大標準化所有輸入特征標簽也最好標準化代碼報維度錯誤忘記把y變成列向量或行向量統一用reshape(-1, 1)或ravel()根據庫的要求來最后再分享一個我自己的實操技巧每次改代碼時先把隨機種子固定住然后只改一個變量對比前后兩次的結果。比如這次只改學習率下次只改隱藏層節點數否則你很難判斷到底是哪個改動讓結果變好了。BP神經網絡的可復現性本來就不算高不固定隨機種子的話后臺每次跑出來的指標都不同很容易干擾判斷。這個項目做完之后我對反向傳播的恐懼基本消失了也明白了為什么框架能“一鍵訓練”。如果你也想練手建議在加州房價數據上跑通之后把數據源換成自己城市最近幾年的二手房成交記錄特征加上地段、樓層、裝修程度你會更直觀地感受到特征工程和模型調參的魅力。本文還有配套的精品資源點擊獲取