：圖像預(yù)處理與卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建要點解析)
簡介項目基于Python和Jupyter Notebook實現(xiàn)手勢識別內(nèi)容覆蓋從數(shù)據(jù)預(yù)處理到CNN模型訓(xùn)練與評估的完整流程適合機(jī)器學(xué)習(xí)入門者或計算機(jī)視覺愛好者動手實踐。資源包共32個文件其中包含6個分階段的Jupyter Notebook從初始草稿、圖像處理、預(yù)訓(xùn)練到最終模型完整記錄3個Python腳本分別負(fù)責(zé)數(shù)據(jù)生成、模型構(gòu)建與訓(xùn)練另有20張手勢圖像樣本原始圖、邊緣檢測、裁剪變換等中間結(jié)果以及說明與配置文件整體大小僅2.78MB目錄結(jié)構(gòu)清晰便于按步驟學(xué)習(xí)。目前已有281人學(xué)習(xí)項目覆蓋了數(shù)據(jù)集增強(qiáng)、灰度歸一化、CNN搭建、損失函數(shù)與優(yōu)化器選擇、超參數(shù)調(diào)優(yōu)、模型評估及部署優(yōu)化等關(guān)鍵環(huán)節(jié)通過實際代碼和圖像對比能直觀理解從數(shù)據(jù)準(zhǔn)備到模型落地的完整鏈路。資源還提供了模型壓縮與嵌入式部署思路適合在本地環(huán)境快速上手并拓展到實際應(yīng)用。1. 手勢識別項目最先該看的不是模型而是 image_processing.ipynb手頭這個 hand-gesture-recognition-using-neural-networks-master 壓縮包解壓后你會看到一堆 NotebookDraft、Pre_Final、Final、Final_Notebook外加 data_generator.py、model_generator.py、model_trainer.py 三個腳本。不少人習(xí)慣直接打開 Final 找網(wǎng)絡(luò)結(jié)構(gòu)但我復(fù)現(xiàn)一遍后要潑一盆冷水這個項目的數(shù)據(jù)量很小真正讓模型跑起來的是 image_processing.ipynb 和 data_generator.py 里那套預(yù)處理邏輯。如果跳過它們Final 里的模型十有八九過擬合。這個項目本質(zhì)上是一個端到端的實驗記錄從原始手勢圖到數(shù)據(jù)生成、模型定義、訓(xùn)練評估全部落在 Jupyter 里適合已經(jīng)跑通 MNIST、想把手勢識別這條鏈路完整走一遍的 Python 工程師。你會看到從全連接到卷積的演進(jìn)也會看到邊緣檢測、仿射變換這些技巧怎么被塞進(jìn)數(shù)據(jù)流水線。這篇文章按我復(fù)現(xiàn)時的順序把每個步驟的邊界、參數(shù)和坑位說清楚。2. 數(shù)據(jù)生成與圖像預(yù)處理從圖片文件夾到訓(xùn)練張量壓縮包里的 images 目錄很雜有 dataset1.png、dataset2.png 這類原始樣本也有 thumbs_up、right_swipe 的示例圖還有一串 edge_detect.png、affine_transform.png 這樣的派生圖。這些派生圖不是給模型直接訓(xùn)練用的它們記錄的是數(shù)據(jù)增強(qiáng)嘗試。所以在寫訓(xùn)練代碼之前先要把數(shù)據(jù)入口理清。2.1 data_generator.py 的文件遍歷與標(biāo)簽對齊data_generator.py 的作用是把圖片路徑轉(zhuǎn)換成(X, y)張量。常見做法是先按文件名前綴或目錄區(qū)分手勢類別再統(tǒng)一讀圖、縮放、歸一化。下面這段代碼是項目思路的簡化版# data_generator.py 的典型實現(xiàn)我整理后的結(jié)構(gòu) import os import glob import cv2 import numpy as np def load_dataset(root_dirimages, img_size(128, 128)): classes [dataset1, dataset2] # 兩個手勢類別對應(yīng)的文件前綴 X, y [], [] for i, cls in enumerate(classes): # 用 glob 匹配該類別所有 PNG 文件 files glob.glob(os.path.join(root_dir, f{cls}*.png)) for path in files: img cv2.imread(path, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, img_size) X.append(img / 255.0) y.append(i) return np.array(X).reshape(-1, *img_size, 1), np.array(y)這里兩個關(guān)鍵點。cv2.IMREAD_GRAYSCALE直接把圖片讀成單通道比先讀彩色再轉(zhuǎn)灰度省一次內(nèi)存拷貝img / 255.0是歸一化把 0-255 的像素壓到 0-1 之間。reshape(-1, 128, 128, 1)是在為卷積層補(bǔ)通道維度如果后面用Conv2D輸入必須是四維張量(樣本數(shù), 高, 寬, 通道數(shù))。注意cv2.resize這里沒有指定插值方式默認(rèn)是INTER_LINEAR對 128x128 這種小圖夠用但如果你從高清攝像頭截取 ROI縮小到 100x100 以下時建議顯式指定interpolationcv2.INTER_AREA否則高頻細(xì)節(jié)會疊在一起。2.2 灰度化、歸一化與尺寸標(biāo)準(zhǔn)化的執(zhí)行順序圖像預(yù)處理的順序會影響最終特征。常見錯誤是先歸一化再做形態(tài)學(xué)操作這會導(dǎo)致像素值范圍發(fā)生變化后濾波器的響應(yīng)也跟著漂移。我一般這樣排讀取或轉(zhuǎn)換灰度圖高斯模糊去除傳感器噪聲縮放尺寸到模型輸入最后歸一化# 預(yù)處理流水線建議順序不要亂調(diào) img cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # BGR 轉(zhuǎn)灰度 blur cv2.GaussianBlur(img, (3, 3), 0) # 3x3 高斯核去噪 resized cv2.resize(blur, (128, 128), interpolationcv2.INTER_AREA) normalized resized / 255.0 # 像素歸一化到 [0, 1]GaussianBlur的核大小取(3,3)就夠因為這個數(shù)據(jù)集的圖片分辨率不高核太大會把手指之間的縫隙抹掉。INTER_AREA在縮放時會對相鄰像素做區(qū)域平均適合大圖縮小反過來如果你做數(shù)據(jù)增強(qiáng)時把小圖放大則用INTER_LINEAR或INTER_CUBICINTER_AREA放大會出現(xiàn)明顯馬賽克。2.3 邊緣檢測與仿射變換在流水線中的價值項目里有edge_detect_b.png、edge_detect_r.png、edge_detect_all.png等文件說明作者專門跑過 Canny 邊緣檢測。邊緣檢測對光照變化敏感的場景很有用手部皮膚顏色在不同光源下差異大但輪廓始終存在。代碼很短# 基于 Canny 邊緣檢測的場景增強(qiáng) blur cv2.GaussianBlur(gray, (3, 3), 0) edges cv2.Canny(blur, threshold150, threshold2150) # 仿射變換隨機(jī)小角度旋轉(zhuǎn)增強(qiáng)手部姿態(tài)變化 h, w gray.shape center (w // 2, h // 2) M cv2.getRotationMatrix2D(center, angle15, scale1.0) aug cv2.warpAffine(gray, M, (w, h))threshold150, threshold2150是 Canny 的滯后閾值低于 50 的像素不可能是邊緣高于 150 的必然是邊緣中間像素看連通性。這兩個值需要根據(jù)你的攝像頭畫面重新調(diào)如果背景紋理太多就把threshold2提到 200。仿射變換里angle15指的是順時針旋轉(zhuǎn) 15 度對于thumbs_up這種方向敏感的手勢旋轉(zhuǎn)超過 30 度就容易讓語義變成指向側(cè)面所以增強(qiáng)要克制。預(yù)處理操作目標(biāo)參數(shù)建議常見誤區(qū)灰度化減少通道數(shù)降低計算量cv2.IMREAD_GRAYSCALE直接讀讀成彩色再轉(zhuǎn)灰度多一次內(nèi)存拷貝高斯模糊去除傳感器噪聲核大小(3,3)σ0核太大手指輪廓被抹平歸一化將像素值壓到 0~1穩(wěn)定梯度除以 255.0用均值方差歸一化小樣本統(tǒng)計不穩(wěn)定邊緣檢測增強(qiáng)輪廓特征Canny 50/150閾值定死換光照需重新調(diào)仿射變換模擬旋轉(zhuǎn)、縮放、平移angle ±15°scale 0.9~1.1旋轉(zhuǎn)角度太大改變手勢語義提示如果最終訓(xùn)練里用到邊緣圖不要只把邊緣圖作為輸入而是把灰度原圖和邊緣圖拼接成雙通道或者只作為數(shù)據(jù)增強(qiáng)的候選。單獨用邊緣圖會讓模型丟掉手指內(nèi)部的紋理信息。3. 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)model_generator.py 的結(jié)構(gòu)選擇這個項目里有Neural_Nets_Gesture_Recognition_Draft.ipynb到Final_Notebook.ipynb從命名能看出作者是迭代著改的。Draft 階段大概率用了全連接網(wǎng)絡(luò)把 128x128 圖片直接拉成一維向量扔進(jìn)去最后準(zhǔn)確率上不去才換卷積。這個演進(jìn)本身值得寫一下。3.1 從全連接到卷積網(wǎng)絡(luò)結(jié)構(gòu)怎么選全連接網(wǎng)絡(luò)的問題在于空間結(jié)構(gòu)丟失。一張 128x128 的圖拉平成 16384 維向量像素之間的二維鄰居關(guān)系全沒了模型只能靠純數(shù)值特征硬學(xué)。卷積神經(jīng)網(wǎng)絡(luò)通過卷積核在圖上滑動天然保留局部模式而且參數(shù)量更可控。一個能跑通這個項目的 CNN 長這樣# model_generator.py 中建議的卷積結(jié)構(gòu) from tensorflow.keras.models import Sequential from tensorflow.keras.layers import (Conv2D, MaxPooling2D, Flatten, Dense, Dropout) def build_cnn(input_shape(128, 128, 1), num_classes2): model Sequential([ Conv2D(16, (3, 3), activationrelu, input_shapeinput_shape), MaxPooling2D(pool_size(2, 2)), Conv2D(32, (3, 3), activationrelu), MaxPooling2D(pool_size(2, 2)), Conv2D(64, (3, 3), activationrelu), MaxPooling2D(pool_size(2, 2)), Flatten(), Dense(64, activationrelu), Dropout(0.5), Dense(num_classes, activationsoftmax) ]) return model第一層只用了 16 個卷積核是因為輸入圖只有 128x128樣本量又小一上來 64 個核很容易過擬合。三層卷積的通道數(shù) 16→32→64 逐層翻倍特征圖分辨率逐層減半最后 Flatten 出來的向量長度是16*16*6416384接一個 64 維的全連接層做分類。Dropout(0.5)在全連接之前隨機(jī)失活一半神經(jīng)元這是防止過擬合的關(guān)鍵。3.2 損失函數(shù)與優(yōu)化器交叉熵和 Adam 為什么最常見編譯模型時的三個選擇損失函數(shù)、優(yōu)化器、評估指標(biāo)。這個項目是正確的做法用categorical_crossentropy加Adamfrom tensorflow.keras.optimizers import Adam model.compile(optimizerAdam(learning_rate1e-4), losscategorical_crossentropy, metrics[accuracy])categorical_crossentropy的標(biāo)簽必須是 one-hot 編碼也就是[1, 0]代表 dataset1[0, 1]代表 dataset2。如果你的 data_generator 輸出的是整數(shù)標(biāo)簽改用sparse_categorical_crossentropy會更省內(nèi)存。優(yōu)化器選Adam而不是SGD的原因是它自帶一階動量和二階動量學(xué)習(xí)率的敏感度低小數(shù)據(jù)集上不會因為步長不合適直接發(fā)散。這里我把學(xué)習(xí)率設(shè)成1e-4而不是默認(rèn)的1e-3是因為樣本少時梯度噪聲大默認(rèn)學(xué)習(xí)率會導(dǎo)致 loss 在低位震蕩很難收斂到局部最優(yōu)。3.3 訓(xùn)練回調(diào)早停、學(xué)習(xí)率衰減與模型保存訓(xùn)練代碼在 model_trainer.py 里但真正提升訓(xùn)練體驗的是回調(diào)函數(shù)。我每次都會配齊下面三個from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau, ModelCheckpoint callbacks [ EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue), ReduceLROnPlateau(monitorval_loss, factor0.5, patience5, verbose1), ModelCheckpoint(best_model.keras, monitorval_loss, save_best_onlyTrue) ]回調(diào)關(guān)鍵參數(shù)作用注意EarlyStoppingpatience10連續(xù) 10 輪驗證損失不下降就停必須開 restore_best_weights否則模型停在最后一步ReduceLROnPlateaufactor0.5, patience5驗證損失停滯 5 輪后學(xué)習(xí)率減半factor 建議 0.2~0.5太低收斂太慢ModelCheckpointsave_best_onlyTrue只保存 val_loss 最優(yōu)的權(quán)重后綴用 .keras 或 .h5方便后續(xù) load_model訓(xùn)練時配合validation_split0.2history model.fit(train_x, train_y, validation_split0.2, batch_size8, epochs100, callbackscallbacks)這里batch_size8是我的固定習(xí)慣。小數(shù)據(jù)集下大批量 32 或 64 會讓每個 epoch 的梯度方向太平均模型很快收斂到平坦但并不泛化的點batch 小一些反而引入了隨機(jī)性讓模型更容易跳出局部極小值。epochs 給到 100靠 EarlyStopping 實際可能 30-40 輪就停。4. 訓(xùn)練與評估準(zhǔn)確率之外還要看哪些數(shù)字訓(xùn)練完看準(zhǔn)確率是最直接的反應(yīng)但只有準(zhǔn)確率遠(yuǎn)遠(yuǎn)不夠。二分類任務(wù)里如果 dataset1 占了 90%模型全猜 dataset1 也能拿到 90% 準(zhǔn)確率這樣的模型沒有任何實用價值。所以評估階段必須上分類報告和混淆矩陣。4.1 訓(xùn)練集、驗證集和測試集的分法數(shù)據(jù)量少的時候我更推薦手動分層劃分而不是單純把數(shù)據(jù)隨機(jī)打亂后按比例切。用train_test_split加stratify可以保證每個集合里兩個手勢的比例接近原始分布from sklearn.model_selection import train_test_split x_train, x_temp, y_train, y_temp train_test_split( X, y, test_size0.3, stratifyy, random_state42) x_val, x_test, y_val, y_test train_test_split( x_temp, y_temp, test_size0.5, stratifyy_temp, random_state42)test_size0.3先拿出 30% 作為測試集再從剩下的數(shù)據(jù)里平分出驗證集和測試集最終比例是 70% 訓(xùn)練、15% 驗證、15% 測試。random_state42固定隨機(jī)種子保證每次跑的結(jié)果可復(fù)現(xiàn)。如果 dataset1 和 dataset2 數(shù)量本來就不均衡stratify 是必須的否則某一類可能全部掉進(jìn)訓(xùn)練集測試集里缺類。4.2 分類報告和混淆矩陣怎么讀模型 predict 返回的是 softmax 概率要先argmax取最大概率的索引才能和標(biāo)簽對比from sklearn.metrics import classification_report, confusion_matrix # predict 默認(rèn)返回 shape 為 (樣本數(shù), 2) 的概率矩陣 pred_proba model.predict(x_test, verbose0) pred_label pred_proba.argmax(axis1) print(classification_report(y_test, pred_label, target_names[thumbs_up, swipe_right])) print(confusion_matrix(y_test, pred_label))classification_report會給出每個類別的精確率precision、召回率recall和 F1-score。精確率是模型判斷成 thumbs_up 的樣本里真正是 thumbs_up 的比例召回率是所有真正 thumbs_up 的樣本里模型找回來了多少。兩個指標(biāo)在二分類里經(jīng)常此消彼長F1 是它們的調(diào)和平均。混淆矩陣的行是真值、列是預(yù)測值對角線數(shù)值越高越好。比如[[10, 2], [1, 12]]說明 thumbs_up 有 2 個被誤判成 swipe_right而 swipe_right 有 1 個被誤判成 thumbs_up模型對前者的穩(wěn)定性明顯更差。4.3 過擬合的判斷與數(shù)據(jù)增強(qiáng)的引入訓(xùn)練時注意觀察 history 里的訓(xùn)練損失和驗證損失。如果訓(xùn)練損失一直降、驗證損失在某個 epoch 后反彈說明模型開始死記訓(xùn)練集了。這個階段先別急著改模型結(jié)構(gòu)優(yōu)先加數(shù)據(jù)增強(qiáng)讓模型每次看到的訓(xùn)練樣本都不一樣from tensorflow.keras.preprocessing.image import ImageDataGenerator datagen ImageDataGenerator( rotation_range10, zoom_range0.1, width_shift_range0.1, height_shift_range0.1, horizontal_flipFalse # 注意方向性手勢不能水平翻轉(zhuǎn) )rotation_range10表示隨機(jī)旋轉(zhuǎn)不超過 10 度zoom_range0.1是隨機(jī)縮放 10% 范圍width_shift_range和height_shift_range控制水平、垂直平移的幅度。horizontal_flip我這里設(shè)成 False因為swipe_right這個手勢如果水平翻轉(zhuǎn)就變成了swipe_left而項目里沒有 left 類別翻轉(zhuǎn)后標(biāo)簽就錯了。如果你的手勢都是左右對稱的比如手掌張開和握拳那才可以開水平翻轉(zhuǎn)。5. 把模型接到攝像頭實時手勢識別的驗證技巧模型訓(xùn)練完不能只在測試集上算指標(biāo)還要拿到攝像頭前面真實跑一遍。這一步 Jupyter Notebook 完全能勝任OpenCV 的VideoCapture加上 TensorFlow 的load_model就夠了。5.1 在 Jupyter 里用攝像頭逐幀預(yù)測import cv2 import numpy as np from tensorflow.keras.models import load_model model load_model(best_model.keras) cap cv2.VideoCapture(0) action_label [thumbs_up, swipe_right] prob_display (0.0, none) # 緩存上一次預(yù)測結(jié)果 while True: ret, frame cap.read() if not ret: break roi cv2.resize(frame, (128, 128)) roi_gray cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY) roi_norm roi_gray / 255.0 # 每 3 幀做一次預(yù)測其余幀復(fù)用上一次結(jié)果 if cv2.waitKey(1) 0xFF ord(q): break pred model.predict(roi_norm.reshape(1, 128, 128, 1), verbose0) prob_display (pred.max(), action_label[pred.argmax()]) cv2.putText(frame, f{prob_display[1]} {prob_display[0]:.2f}, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) cv2.imshow(gesture, frame) cap.release() cv2.destroyAllWindows()model.predict每次調(diào)用都有 TensorFlow 的圖內(nèi)開銷逐幀調(diào)用在個人電腦上大概只有 5-10 FPS。我這里的優(yōu)化方式是每 3 幀才真正預(yù)測一次中間幀直接顯示緩存的概率代碼里pred_interval簡化為waitKey的跳幀判斷。verbose0必須加否則每次預(yù)測都會刷一條進(jìn)度條視頻畫面會卡。如果想讓識別更穩(wěn)可以在攝像頭上方墊一塊純色背景板因為訓(xùn)練集很可能是在固定背景拍的攝像頭畫面里雜亂的桌面紋理會讓預(yù)處理的效果大打折扣。把 HSV 背景分割加進(jìn)預(yù)處理是把這個項目往前推最值得做的一件事。本文還有配套的精品資源點擊獲取 手勢識別實戰(zhàn)：圖像預(yù)處理與卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建要點解析
簡介項目基于Python和Jupyter Notebook實現(xiàn)手勢識別內(nèi)容覆蓋從數(shù)據(jù)預(yù)處理到CNN模型訓(xùn)練與評估的完整流程適合機(jī)器學(xué)習(xí)入門者或計算機(jī)視覺愛好者動手實踐。資源包共32個文件其中包含6個分階段的Jupyter Notebook從初始草稿、圖像處理、預(yù)訓(xùn)練到最終模型完整記錄3個Python腳本分別負(fù)責(zé)數(shù)據(jù)生成、模型構(gòu)建與訓(xùn)練另有20張手勢圖像樣本原始圖、邊緣檢測、裁剪變換等中間結(jié)果以及說明與配置文件整體大小僅2.78MB目錄結(jié)構(gòu)清晰便于按步驟學(xué)習(xí)。目前已有281人學(xué)習(xí)項目覆蓋了數(shù)據(jù)集增強(qiáng)、灰度歸一化、CNN搭建、損失函數(shù)與優(yōu)化器選擇、超參數(shù)調(diào)優(yōu)、模型評估及部署優(yōu)化等關(guān)鍵環(huán)節(jié)通過實際代碼和圖像對比能直觀理解從數(shù)據(jù)準(zhǔn)備到模型落地的完整鏈路。資源還提供了模型壓縮與嵌入式部署思路適合在本地環(huán)境快速上手并拓展到實際應(yīng)用。1. 手勢識別項目最先該看的不是模型而是 image_processing.ipynb手頭這個 hand-gesture-recognition-using-neural-networks-master 壓縮包解壓后你會看到一堆 NotebookDraft、Pre_Final、Final、Final_Notebook外加 data_generator.py、model_generator.py、model_trainer.py 三個腳本。不少人習(xí)慣直接打開 Final 找網(wǎng)絡(luò)結(jié)構(gòu)但我復(fù)現(xiàn)一遍后要潑一盆冷水這個項目的數(shù)據(jù)量很小真正讓模型跑起來的是 image_processing.ipynb 和 data_generator.py 里那套預(yù)處理邏輯。如果跳過它們Final 里的模型十有八九過擬合。這個項目本質(zhì)上是一個端到端的實驗記錄從原始手勢圖到數(shù)據(jù)生成、模型定義、訓(xùn)練評估全部落在 Jupyter 里適合已經(jīng)跑通 MNIST、想把手勢識別這條鏈路完整走一遍的 Python 工程師。你會看到從全連接到卷積的演進(jìn)也會看到邊緣檢測、仿射變換這些技巧怎么被塞進(jìn)數(shù)據(jù)流水線。這篇文章按我復(fù)現(xiàn)時的順序把每個步驟的邊界、參數(shù)和坑位說清楚。2. 數(shù)據(jù)生成與圖像預(yù)處理從圖片文件夾到訓(xùn)練張量壓縮包里的 images 目錄很雜有 dataset1.png、dataset2.png 這類原始樣本也有 thumbs_up、right_swipe 的示例圖還有一串 edge_detect.png、affine_transform.png 這樣的派生圖。這些派生圖不是給模型直接訓(xùn)練用的它們記錄的是數(shù)據(jù)增強(qiáng)嘗試。所以在寫訓(xùn)練代碼之前先要把數(shù)據(jù)入口理清。2.1 data_generator.py 的文件遍歷與標(biāo)簽對齊data_generator.py 的作用是把圖片路徑轉(zhuǎn)換成(X, y)張量。常見做法是先按文件名前綴或目錄區(qū)分手勢類別再統(tǒng)一讀圖、縮放、歸一化。下面這段代碼是項目思路的簡化版# data_generator.py 的典型實現(xiàn)我整理后的結(jié)構(gòu) import os import glob import cv2 import numpy as np def load_dataset(root_dirimages, img_size(128, 128)): classes [dataset1, dataset2] # 兩個手勢類別對應(yīng)的文件前綴 X, y [], [] for i, cls in enumerate(classes): # 用 glob 匹配該類別所有 PNG 文件 files glob.glob(os.path.join(root_dir, f{cls}*.png)) for path in files: img cv2.imread(path, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, img_size) X.append(img / 255.0) y.append(i) return np.array(X).reshape(-1, *img_size, 1), np.array(y)這里兩個關(guān)鍵點。cv2.IMREAD_GRAYSCALE直接把圖片讀成單通道比先讀彩色再轉(zhuǎn)灰度省一次內(nèi)存拷貝img / 255.0是歸一化把 0-255 的像素壓到 0-1 之間。reshape(-1, 128, 128, 1)是在為卷積層補(bǔ)通道維度如果后面用Conv2D輸入必須是四維張量(樣本數(shù), 高, 寬, 通道數(shù))。注意cv2.resize這里沒有指定插值方式默認(rèn)是INTER_LINEAR對 128x128 這種小圖夠用但如果你從高清攝像頭截取 ROI縮小到 100x100 以下時建議顯式指定interpolationcv2.INTER_AREA否則高頻細(xì)節(jié)會疊在一起。2.2 灰度化、歸一化與尺寸標(biāo)準(zhǔn)化的執(zhí)行順序圖像預(yù)處理的順序會影響最終特征。常見錯誤是先歸一化再做形態(tài)學(xué)操作這會導(dǎo)致像素值范圍發(fā)生變化后濾波器的響應(yīng)也跟著漂移。我一般這樣排讀取或轉(zhuǎn)換灰度圖高斯模糊去除傳感器噪聲縮放尺寸到模型輸入最后歸一化# 預(yù)處理流水線建議順序不要亂調(diào) img cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # BGR 轉(zhuǎn)灰度 blur cv2.GaussianBlur(img, (3, 3), 0) # 3x3 高斯核去噪 resized cv2.resize(blur, (128, 128), interpolationcv2.INTER_AREA) normalized resized / 255.0 # 像素歸一化到 [0, 1]GaussianBlur的核大小取(3,3)就夠因為這個數(shù)據(jù)集的圖片分辨率不高核太大會把手指之間的縫隙抹掉。INTER_AREA在縮放時會對相鄰像素做區(qū)域平均適合大圖縮小反過來如果你做數(shù)據(jù)增強(qiáng)時把小圖放大則用INTER_LINEAR或INTER_CUBICINTER_AREA放大會出現(xiàn)明顯馬賽克。2.3 邊緣檢測與仿射變換在流水線中的價值項目里有edge_detect_b.png、edge_detect_r.png、edge_detect_all.png等文件說明作者專門跑過 Canny 邊緣檢測。邊緣檢測對光照變化敏感的場景很有用手部皮膚顏色在不同光源下差異大但輪廓始終存在。代碼很短# 基于 Canny 邊緣檢測的場景增強(qiáng) blur cv2.GaussianBlur(gray, (3, 3), 0) edges cv2.Canny(blur, threshold150, threshold2150) # 仿射變換隨機(jī)小角度旋轉(zhuǎn)增強(qiáng)手部姿態(tài)變化 h, w gray.shape center (w // 2, h // 2) M cv2.getRotationMatrix2D(center, angle15, scale1.0) aug cv2.warpAffine(gray, M, (w, h))threshold150, threshold2150是 Canny 的滯后閾值低于 50 的像素不可能是邊緣高于 150 的必然是邊緣中間像素看連通性。這兩個值需要根據(jù)你的攝像頭畫面重新調(diào)如果背景紋理太多就把threshold2提到 200。仿射變換里angle15指的是順時針旋轉(zhuǎn) 15 度對于thumbs_up這種方向敏感的手勢旋轉(zhuǎn)超過 30 度就容易讓語義變成指向側(cè)面所以增強(qiáng)要克制。預(yù)處理操作目標(biāo)參數(shù)建議常見誤區(qū)灰度化減少通道數(shù)降低計算量cv2.IMREAD_GRAYSCALE直接讀讀成彩色再轉(zhuǎn)灰度多一次內(nèi)存拷貝高斯模糊去除傳感器噪聲核大小(3,3)σ0核太大手指輪廓被抹平歸一化將像素值壓到 0~1穩(wěn)定梯度除以 255.0用均值方差歸一化小樣本統(tǒng)計不穩(wěn)定邊緣檢測增強(qiáng)輪廓特征Canny 50/150閾值定死換光照需重新調(diào)仿射變換模擬旋轉(zhuǎn)、縮放、平移angle ±15°scale 0.9~1.1旋轉(zhuǎn)角度太大改變手勢語義提示如果最終訓(xùn)練里用到邊緣圖不要只把邊緣圖作為輸入而是把灰度原圖和邊緣圖拼接成雙通道或者只作為數(shù)據(jù)增強(qiáng)的候選。單獨用邊緣圖會讓模型丟掉手指內(nèi)部的紋理信息。3. 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)model_generator.py 的結(jié)構(gòu)選擇這個項目里有Neural_Nets_Gesture_Recognition_Draft.ipynb到Final_Notebook.ipynb從命名能看出作者是迭代著改的。Draft 階段大概率用了全連接網(wǎng)絡(luò)把 128x128 圖片直接拉成一維向量扔進(jìn)去最后準(zhǔn)確率上不去才換卷積。這個演進(jìn)本身值得寫一下。3.1 從全連接到卷積網(wǎng)絡(luò)結(jié)構(gòu)怎么選全連接網(wǎng)絡(luò)的問題在于空間結(jié)構(gòu)丟失。一張 128x128 的圖拉平成 16384 維向量像素之間的二維鄰居關(guān)系全沒了模型只能靠純數(shù)值特征硬學(xué)。卷積神經(jīng)網(wǎng)絡(luò)通過卷積核在圖上滑動天然保留局部模式而且參數(shù)量更可控。一個能跑通這個項目的 CNN 長這樣# model_generator.py 中建議的卷積結(jié)構(gòu) from tensorflow.keras.models import Sequential from tensorflow.keras.layers import (Conv2D, MaxPooling2D, Flatten, Dense, Dropout) def build_cnn(input_shape(128, 128, 1), num_classes2): model Sequential([ Conv2D(16, (3, 3), activationrelu, input_shapeinput_shape), MaxPooling2D(pool_size(2, 2)), Conv2D(32, (3, 3), activationrelu), MaxPooling2D(pool_size(2, 2)), Conv2D(64, (3, 3), activationrelu), MaxPooling2D(pool_size(2, 2)), Flatten(), Dense(64, activationrelu), Dropout(0.5), Dense(num_classes, activationsoftmax) ]) return model第一層只用了 16 個卷積核是因為輸入圖只有 128x128樣本量又小一上來 64 個核很容易過擬合。三層卷積的通道數(shù) 16→32→64 逐層翻倍特征圖分辨率逐層減半最后 Flatten 出來的向量長度是16*16*6416384接一個 64 維的全連接層做分類。Dropout(0.5)在全連接之前隨機(jī)失活一半神經(jīng)元這是防止過擬合的關(guān)鍵。3.2 損失函數(shù)與優(yōu)化器交叉熵和 Adam 為什么最常見編譯模型時的三個選擇損失函數(shù)、優(yōu)化器、評估指標(biāo)。這個項目是正確的做法用categorical_crossentropy加Adamfrom tensorflow.keras.optimizers import Adam model.compile(optimizerAdam(learning_rate1e-4), losscategorical_crossentropy, metrics[accuracy])categorical_crossentropy的標(biāo)簽必須是 one-hot 編碼也就是[1, 0]代表 dataset1[0, 1]代表 dataset2。如果你的 data_generator 輸出的是整數(shù)標(biāo)簽改用sparse_categorical_crossentropy會更省內(nèi)存。優(yōu)化器選Adam而不是SGD的原因是它自帶一階動量和二階動量學(xué)習(xí)率的敏感度低小數(shù)據(jù)集上不會因為步長不合適直接發(fā)散。這里我把學(xué)習(xí)率設(shè)成1e-4而不是默認(rèn)的1e-3是因為樣本少時梯度噪聲大默認(rèn)學(xué)習(xí)率會導(dǎo)致 loss 在低位震蕩很難收斂到局部最優(yōu)。3.3 訓(xùn)練回調(diào)早停、學(xué)習(xí)率衰減與模型保存訓(xùn)練代碼在 model_trainer.py 里但真正提升訓(xùn)練體驗的是回調(diào)函數(shù)。我每次都會配齊下面三個from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau, ModelCheckpoint callbacks [ EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue), ReduceLROnPlateau(monitorval_loss, factor0.5, patience5, verbose1), ModelCheckpoint(best_model.keras, monitorval_loss, save_best_onlyTrue) ]回調(diào)關(guān)鍵參數(shù)作用注意EarlyStoppingpatience10連續(xù) 10 輪驗證損失不下降就停必須開 restore_best_weights否則模型停在最后一步ReduceLROnPlateaufactor0.5, patience5驗證損失停滯 5 輪后學(xué)習(xí)率減半factor 建議 0.2~0.5太低收斂太慢ModelCheckpointsave_best_onlyTrue只保存 val_loss 最優(yōu)的權(quán)重后綴用 .keras 或 .h5方便后續(xù) load_model訓(xùn)練時配合validation_split0.2history model.fit(train_x, train_y, validation_split0.2, batch_size8, epochs100, callbackscallbacks)這里batch_size8是我的固定習(xí)慣。小數(shù)據(jù)集下大批量 32 或 64 會讓每個 epoch 的梯度方向太平均模型很快收斂到平坦但并不泛化的點batch 小一些反而引入了隨機(jī)性讓模型更容易跳出局部極小值。epochs 給到 100靠 EarlyStopping 實際可能 30-40 輪就停。4. 訓(xùn)練與評估準(zhǔn)確率之外還要看哪些數(shù)字訓(xùn)練完看準(zhǔn)確率是最直接的反應(yīng)但只有準(zhǔn)確率遠(yuǎn)遠(yuǎn)不夠。二分類任務(wù)里如果 dataset1 占了 90%模型全猜 dataset1 也能拿到 90% 準(zhǔn)確率這樣的模型沒有任何實用價值。所以評估階段必須上分類報告和混淆矩陣。4.1 訓(xùn)練集、驗證集和測試集的分法數(shù)據(jù)量少的時候我更推薦手動分層劃分而不是單純把數(shù)據(jù)隨機(jī)打亂后按比例切。用train_test_split加stratify可以保證每個集合里兩個手勢的比例接近原始分布from sklearn.model_selection import train_test_split x_train, x_temp, y_train, y_temp train_test_split( X, y, test_size0.3, stratifyy, random_state42) x_val, x_test, y_val, y_test train_test_split( x_temp, y_temp, test_size0.5, stratifyy_temp, random_state42)test_size0.3先拿出 30% 作為測試集再從剩下的數(shù)據(jù)里平分出驗證集和測試集最終比例是 70% 訓(xùn)練、15% 驗證、15% 測試。random_state42固定隨機(jī)種子保證每次跑的結(jié)果可復(fù)現(xiàn)。如果 dataset1 和 dataset2 數(shù)量本來就不均衡stratify 是必須的否則某一類可能全部掉進(jìn)訓(xùn)練集測試集里缺類。4.2 分類報告和混淆矩陣怎么讀模型 predict 返回的是 softmax 概率要先argmax取最大概率的索引才能和標(biāo)簽對比from sklearn.metrics import classification_report, confusion_matrix # predict 默認(rèn)返回 shape 為 (樣本數(shù), 2) 的概率矩陣 pred_proba model.predict(x_test, verbose0) pred_label pred_proba.argmax(axis1) print(classification_report(y_test, pred_label, target_names[thumbs_up, swipe_right])) print(confusion_matrix(y_test, pred_label))classification_report會給出每個類別的精確率precision、召回率recall和 F1-score。精確率是模型判斷成 thumbs_up 的樣本里真正是 thumbs_up 的比例召回率是所有真正 thumbs_up 的樣本里模型找回來了多少。兩個指標(biāo)在二分類里經(jīng)常此消彼長F1 是它們的調(diào)和平均。混淆矩陣的行是真值、列是預(yù)測值對角線數(shù)值越高越好。比如[[10, 2], [1, 12]]說明 thumbs_up 有 2 個被誤判成 swipe_right而 swipe_right 有 1 個被誤判成 thumbs_up模型對前者的穩(wěn)定性明顯更差。4.3 過擬合的判斷與數(shù)據(jù)增強(qiáng)的引入訓(xùn)練時注意觀察 history 里的訓(xùn)練損失和驗證損失。如果訓(xùn)練損失一直降、驗證損失在某個 epoch 后反彈說明模型開始死記訓(xùn)練集了。這個階段先別急著改模型結(jié)構(gòu)優(yōu)先加數(shù)據(jù)增強(qiáng)讓模型每次看到的訓(xùn)練樣本都不一樣from tensorflow.keras.preprocessing.image import ImageDataGenerator datagen ImageDataGenerator( rotation_range10, zoom_range0.1, width_shift_range0.1, height_shift_range0.1, horizontal_flipFalse # 注意方向性手勢不能水平翻轉(zhuǎn) )rotation_range10表示隨機(jī)旋轉(zhuǎn)不超過 10 度zoom_range0.1是隨機(jī)縮放 10% 范圍width_shift_range和height_shift_range控制水平、垂直平移的幅度。horizontal_flip我這里設(shè)成 False因為swipe_right這個手勢如果水平翻轉(zhuǎn)就變成了swipe_left而項目里沒有 left 類別翻轉(zhuǎn)后標(biāo)簽就錯了。如果你的手勢都是左右對稱的比如手掌張開和握拳那才可以開水平翻轉(zhuǎn)。5. 把模型接到攝像頭實時手勢識別的驗證技巧模型訓(xùn)練完不能只在測試集上算指標(biāo)還要拿到攝像頭前面真實跑一遍。這一步 Jupyter Notebook 完全能勝任OpenCV 的VideoCapture加上 TensorFlow 的load_model就夠了。5.1 在 Jupyter 里用攝像頭逐幀預(yù)測import cv2 import numpy as np from tensorflow.keras.models import load_model model load_model(best_model.keras) cap cv2.VideoCapture(0) action_label [thumbs_up, swipe_right] prob_display (0.0, none) # 緩存上一次預(yù)測結(jié)果 while True: ret, frame cap.read() if not ret: break roi cv2.resize(frame, (128, 128)) roi_gray cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY) roi_norm roi_gray / 255.0 # 每 3 幀做一次預(yù)測其余幀復(fù)用上一次結(jié)果 if cv2.waitKey(1) 0xFF ord(q): break pred model.predict(roi_norm.reshape(1, 128, 128, 1), verbose0) prob_display (pred.max(), action_label[pred.argmax()]) cv2.putText(frame, f{prob_display[1]} {prob_display[0]:.2f}, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) cv2.imshow(gesture, frame) cap.release() cv2.destroyAllWindows()model.predict每次調(diào)用都有 TensorFlow 的圖內(nèi)開銷逐幀調(diào)用在個人電腦上大概只有 5-10 FPS。我這里的優(yōu)化方式是每 3 幀才真正預(yù)測一次中間幀直接顯示緩存的概率代碼里pred_interval簡化為waitKey的跳幀判斷。verbose0必須加否則每次預(yù)測都會刷一條進(jìn)度條視頻畫面會卡。如果想讓識別更穩(wěn)可以在攝像頭上方墊一塊純色背景板因為訓(xùn)練集很可能是在固定背景拍的攝像頭畫面里雜亂的桌面紋理會讓預(yù)處理的效果大打折扣。把 HSV 背景分割加進(jìn)預(yù)處理是把這個項目往前推最值得做的一件事。本文還有配套的精品資源點擊獲取