CogVideoX文生視頻完整教程單卡5秒出片【免費(fèi)下載鏈接】CogVideotext and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)項目地址: https://gitcode.com/GitHub_Trending/co/CogVideopython inference/cli_demo.py --prompt A girl riding a bike. --model_path THUDM/CogVideoX-2b --generate_type t2v敲下去幾十秒后目錄里多出 output.mp4。這就是 CogVideo 的文生視頻生成一句話變一條可播放的 5 秒視頻2B 檔位一張 4090 就能跑通。視頻出現(xiàn)之前里面走了三步鏈路提示詞先變成向量長短直接決定畫面聽話程度你輸入的一句話經(jīng)文本編碼器變成語義向量之后由guidance_scale默認(rèn) 6.0這個分類器自由引導(dǎo)強(qiáng)度決定畫面跟文字的貼合度。這里藏著一個坑模型訓(xùn)練時喂的是長描述提示詞太短約束就弱后面擴(kuò)散環(huán)節(jié)容易放飛。潛空間里迭代去噪50 步把高斯噪聲煉成視頻文字向量就位后DiT 主干在潛空間里反復(fù)迭代把純高斯噪聲一步步細(xì)化成視頻的壓縮表示。官方推理用 DPM 調(diào)度器兩行配置定下步數(shù)排布pipe.scheduler CogVideoXDPMScheduler.from_config( pipe.scheduler.config, timestep_spacingtrailing)timestep_spacingtrailing是作者對 5B 檔的推薦設(shè)置決定時間步間隔怎么排。3D 因果 VAE 把壓縮表示解回真實幀按 16fps 落盤上一步的潛變量由 3D 因果 VAE 解碼成真實視頻幀再經(jīng)export_to_video寫成 mp4。默認(rèn) 16fps、81 幀正好約 5 秒。克隆、裝依賴第一條片子就這么跑出來先拿代碼裝依賴。項目要求 Python 3.10–3.12裝之前先python --version確認(rèn)一下版本避免依賴裝不進(jìn)去git clone https://gitcode.com/GitHub_Trending/co/CogVideo cd CogVideo pip install -r requirements.txt依賴不多diffusers、accelerate、gradio 等一次裝齊裝完直接進(jìn)入出片環(huán)節(jié)。選檔位看顯存24G 的 4090 從 2B 起步5B 留給 48G 以上或雙卡。2B 官方推薦 FP16配合 diffusers 的 offload 優(yōu)化單卡 10G 內(nèi)就能裝下。這條命令直接出片python inference/cli_demo.py --prompt A girl riding a bike. --model_path THUDM/CogVideoX-2b --generate_type t2vinference/cli_demo.py官方推理入口管參數(shù)解析與視頻導(dǎo)出默認(rèn)開了enable_sequential_cpu_offload()按需把模型搬上搬下 GPU這是它不爆顯存的關(guān)鍵開關(guān)別手動刪掉。如果提示詞只有一句話先用 inference/convert_demo.py提示詞擴(kuò)寫工具調(diào)用 LLM 把短句擴(kuò)成長描述擴(kuò)寫再喂給模型畫面質(zhì)量會明顯更穩(wěn)python inference/convert_demo.py --prompt A girl riding a bike. --type t2v擴(kuò)寫結(jié)果直接替換上一條命令的--prompt內(nèi)容即可。驗收用 30 秒確認(rèn)./output.mp4生成播放看時長。81 幀 ÷ 16fps ≈ 5 秒和默認(rèn)參數(shù)嚴(yán)絲合縫說明整條鏈路沒斷。幀數(shù)、步數(shù)、引導(dǎo)強(qiáng)度最先要動的三個參數(shù)參數(shù)作用推薦值偏大的副作用偏小的副作用num_frames幀數(shù)即視頻時長49 / 81 / 161視頻更長顯存與耗時上升視頻更短出片更快num_inference_steps去噪步數(shù)30–50細(xì)節(jié)更干凈單次更慢更快但可能出現(xiàn)噪點與抖動guidance_scale提示詞貼合強(qiáng)度4.0–6.5更貼文字過高畫面過飽和發(fā)揮空間變大容易跑偏fps導(dǎo)出播放幀率8–16同樣幀數(shù)播放更短更利索播放更長但更拖沓seed隨機(jī)種子任意整數(shù)默認(rèn) 42換值即出新視頻固定值可復(fù)現(xiàn)同一條視頻幀數(shù)不是隨便填的1.0 檔要滿足 8N1默認(rèn) 49 幀 8fps1.5 檔滿足 16N181 或 161 幀 16fps模型只吃這些特定值。圖生視頻i2v模式下寬高等于輸入圖尺寸推薦分辨率為 480x7202B/5B與 768x13601.5-5B。SAT 版本單獨(dú)用 sat/configs/inference.yamlSAT 推理配置管幀數(shù)與 fps控制輸出規(guī)格。跑不動的時候先查這幾個地方癥狀顯存爆掉或慢到懷疑人生。根因是 5B 權(quán)重加 VAE 同時駐留顯存。對策cli_demo 默認(rèn)已開 sequential offload別關(guān)顯存實在不夠就換 2B。癥狀畫面內(nèi)容和提示詞對不上。根因是一句話提示詞文本約束太弱。對策用 convert 工具擴(kuò)成長提示同時把guidance_scale調(diào)到 6–7 再跑一遍對比。癥狀播放掉幀時長和幀數(shù)對不上。根因是 fps 與幀數(shù)沒按模型檔位配套。對策保持默認(rèn)組合1.0 檔 49 幀 8fps1.5 檔 81/161 幀 16fps必須改時按時長 幀數(shù) ÷ fps核算。騎自行車那條片子跑通鏈路就算活了。下一步同一條命令加--seed 7再跑一次兩版成片并排放種子和參數(shù)的實際影響一眼就能看出來。【免費(fèi)下載鏈接】CogVideotext and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)項目地址: https://gitcode.com/GitHub_Trending/co/CogVideo創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 CogVideoX文生視頻完整教程：單卡5秒出片
CogVideoX文生視頻完整教程單卡5秒出片【免費(fèi)下載鏈接】CogVideotext and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)項目地址: https://gitcode.com/GitHub_Trending/co/CogVideopython inference/cli_demo.py --prompt A girl riding a bike. --model_path THUDM/CogVideoX-2b --generate_type t2v敲下去幾十秒后目錄里多出 output.mp4。這就是 CogVideo 的文生視頻生成一句話變一條可播放的 5 秒視頻2B 檔位一張 4090 就能跑通。視頻出現(xiàn)之前里面走了三步鏈路提示詞先變成向量長短直接決定畫面聽話程度你輸入的一句話經(jīng)文本編碼器變成語義向量之后由guidance_scale默認(rèn) 6.0這個分類器自由引導(dǎo)強(qiáng)度決定畫面跟文字的貼合度。這里藏著一個坑模型訓(xùn)練時喂的是長描述提示詞太短約束就弱后面擴(kuò)散環(huán)節(jié)容易放飛。潛空間里迭代去噪50 步把高斯噪聲煉成視頻文字向量就位后DiT 主干在潛空間里反復(fù)迭代把純高斯噪聲一步步細(xì)化成視頻的壓縮表示。官方推理用 DPM 調(diào)度器兩行配置定下步數(shù)排布pipe.scheduler CogVideoXDPMScheduler.from_config( pipe.scheduler.config, timestep_spacingtrailing)timestep_spacingtrailing是作者對 5B 檔的推薦設(shè)置決定時間步間隔怎么排。3D 因果 VAE 把壓縮表示解回真實幀按 16fps 落盤上一步的潛變量由 3D 因果 VAE 解碼成真實視頻幀再經(jīng)export_to_video寫成 mp4。默認(rèn) 16fps、81 幀正好約 5 秒。克隆、裝依賴第一條片子就這么跑出來先拿代碼裝依賴。項目要求 Python 3.10–3.12裝之前先python --version確認(rèn)一下版本避免依賴裝不進(jìn)去git clone https://gitcode.com/GitHub_Trending/co/CogVideo cd CogVideo pip install -r requirements.txt依賴不多diffusers、accelerate、gradio 等一次裝齊裝完直接進(jìn)入出片環(huán)節(jié)。選檔位看顯存24G 的 4090 從 2B 起步5B 留給 48G 以上或雙卡。2B 官方推薦 FP16配合 diffusers 的 offload 優(yōu)化單卡 10G 內(nèi)就能裝下。這條命令直接出片python inference/cli_demo.py --prompt A girl riding a bike. --model_path THUDM/CogVideoX-2b --generate_type t2vinference/cli_demo.py官方推理入口管參數(shù)解析與視頻導(dǎo)出默認(rèn)開了enable_sequential_cpu_offload()按需把模型搬上搬下 GPU這是它不爆顯存的關(guān)鍵開關(guān)別手動刪掉。如果提示詞只有一句話先用 inference/convert_demo.py提示詞擴(kuò)寫工具調(diào)用 LLM 把短句擴(kuò)成長描述擴(kuò)寫再喂給模型畫面質(zhì)量會明顯更穩(wěn)python inference/convert_demo.py --prompt A girl riding a bike. --type t2v擴(kuò)寫結(jié)果直接替換上一條命令的--prompt內(nèi)容即可。驗收用 30 秒確認(rèn)./output.mp4生成播放看時長。81 幀 ÷ 16fps ≈ 5 秒和默認(rèn)參數(shù)嚴(yán)絲合縫說明整條鏈路沒斷。幀數(shù)、步數(shù)、引導(dǎo)強(qiáng)度最先要動的三個參數(shù)參數(shù)作用推薦值偏大的副作用偏小的副作用num_frames幀數(shù)即視頻時長49 / 81 / 161視頻更長顯存與耗時上升視頻更短出片更快num_inference_steps去噪步數(shù)30–50細(xì)節(jié)更干凈單次更慢更快但可能出現(xiàn)噪點與抖動guidance_scale提示詞貼合強(qiáng)度4.0–6.5更貼文字過高畫面過飽和發(fā)揮空間變大容易跑偏fps導(dǎo)出播放幀率8–16同樣幀數(shù)播放更短更利索播放更長但更拖沓seed隨機(jī)種子任意整數(shù)默認(rèn) 42換值即出新視頻固定值可復(fù)現(xiàn)同一條視頻幀數(shù)不是隨便填的1.0 檔要滿足 8N1默認(rèn) 49 幀 8fps1.5 檔滿足 16N181 或 161 幀 16fps模型只吃這些特定值。圖生視頻i2v模式下寬高等于輸入圖尺寸推薦分辨率為 480x7202B/5B與 768x13601.5-5B。SAT 版本單獨(dú)用 sat/configs/inference.yamlSAT 推理配置管幀數(shù)與 fps控制輸出規(guī)格。跑不動的時候先查這幾個地方癥狀顯存爆掉或慢到懷疑人生。根因是 5B 權(quán)重加 VAE 同時駐留顯存。對策cli_demo 默認(rèn)已開 sequential offload別關(guān)顯存實在不夠就換 2B。癥狀畫面內(nèi)容和提示詞對不上。根因是一句話提示詞文本約束太弱。對策用 convert 工具擴(kuò)成長提示同時把guidance_scale調(diào)到 6–7 再跑一遍對比。癥狀播放掉幀時長和幀數(shù)對不上。根因是 fps 與幀數(shù)沒按模型檔位配套。對策保持默認(rèn)組合1.0 檔 49 幀 8fps1.5 檔 81/161 幀 16fps必須改時按時長 幀數(shù) ÷ fps核算。騎自行車那條片子跑通鏈路就算活了。下一步同一條命令加--seed 7再跑一次兩版成片并排放種子和參數(shù)的實際影響一眼就能看出來。【免費(fèi)下載鏈接】CogVideotext and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)項目地址: https://gitcode.com/GitHub_Trending/co/CogVideo創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考