)
LocalAI本地部署用Docker五分鐘跑起來(lái)【免費(fèi)下載鏈接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI是開(kāi)源的本地AI推理服務(wù)。你想在自己機(jī)器上跑大模型對(duì)話、語(yǔ)音轉(zhuǎn)寫(xiě)、圖像生成又不想讓數(shù)據(jù)經(jīng)過(guò)任何云廠商它解決的就是這件事。不用買(mǎi)顯卡、不用注冊(cè)賬號(hào)、不用開(kāi)通任何云服務(wù)。下面按步驟把它跑起來(lái)五分鐘就夠。裝起來(lái)前提只有一個(gè)裝了Docker。跑CPU版docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-ti分配終端并保持stdin打開(kāi)你能直接看到啟動(dòng)日志之后也能重進(jìn)容器--name local-ai容器命名退出后用docker start -i local-ai就能拉起來(lái)-p 8080:8080把容器內(nèi)API服務(wù)端口映射到本機(jī)8080有N卡的話加一個(gè)--gpus all、把鏡像tag換成latest-gpu-nvidia-cuda-12即可其余不變。鏡像里默認(rèn)只有核心模型需要某個(gè)推理引擎backend比如llama.cpp時(shí)會(huì)按需自動(dòng)拉取對(duì)應(yīng)的獨(dú)立鏡像——不用的后端不會(huì)裝。整條路徑就是下面這張圖拉鏡像、起服務(wù)、挑模型、發(fā)第一個(gè)API調(diào)用。改兩行配置鏡像可以從模型庫(kù)gallery直接拉取預(yù)配置好的模型用自己本地的.gguf文件大模型常見(jiàn)的量化格式時(shí)則在模型文件同目錄放一個(gè)yaml最小配置就三行backend: llama-cpp mmap: true context_size: 8192參數(shù)改它干嘛context_size上下文窗口長(zhǎng)度長(zhǎng)對(duì)話總被截?cái)嗑驼{(diào)大mmap內(nèi)存映射模型文件由系統(tǒng)按需換入數(shù)據(jù)省內(nèi)存大模型卡頓時(shí)試試關(guān)掉backend換推理引擎如llama-cpp、vllm、transformers跑通第一個(gè)對(duì)話服務(wù)起來(lái)后API是OpenAI兼容的——把任意OpenAI SDK的地址改成http://localhost:8080就能用。第一次調(diào)用會(huì)自動(dòng)拉取并加載模型耐心等一兩分鐘curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: llama-3.2-1b-instruct:q4_k_m, messages: [{role: user, content: 用一句話打個(gè)招呼}] }返回里content字段出現(xiàn)模型回復(fù)文本比如content: 你好隨時(shí)可以開(kāi)始。就是通了。瀏覽器直接打開(kāi)http://localhost:8080還有一個(gè)內(nèi)置的Web界面可以不經(jīng)API直接對(duì)話下一步往哪走想換模型gallery/ 里是現(xiàn)成的預(yù)配置模板也可以用local-ai run從模型倉(cāng)庫(kù)或Hugging Face拉任意模型。想接Web前端8080的內(nèi)置界面先用著自己的應(yīng)用走OpenAI兼容API接口清單在 docs/content/features/。想多模態(tài)語(yǔ)音轉(zhuǎn)寫(xiě)、TTS、圖像生成都在同一個(gè)服務(wù)的同一套API下不用另起組件。想多機(jī)跑分布式模式PostgreSQL NATS組多節(jié)點(diǎn)推理見(jiàn) docs/content/features/distributed-mode.md。卡住了就翻 docs/content/getting-started/基本都有答案。【免費(fèi)下載鏈接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 LocalAI本地部署：用Docker五分鐘跑起來(lái)
LocalAI本地部署用Docker五分鐘跑起來(lái)【免費(fèi)下載鏈接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI是開(kāi)源的本地AI推理服務(wù)。你想在自己機(jī)器上跑大模型對(duì)話、語(yǔ)音轉(zhuǎn)寫(xiě)、圖像生成又不想讓數(shù)據(jù)經(jīng)過(guò)任何云廠商它解決的就是這件事。不用買(mǎi)顯卡、不用注冊(cè)賬號(hào)、不用開(kāi)通任何云服務(wù)。下面按步驟把它跑起來(lái)五分鐘就夠。裝起來(lái)前提只有一個(gè)裝了Docker。跑CPU版docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-ti分配終端并保持stdin打開(kāi)你能直接看到啟動(dòng)日志之后也能重進(jìn)容器--name local-ai容器命名退出后用docker start -i local-ai就能拉起來(lái)-p 8080:8080把容器內(nèi)API服務(wù)端口映射到本機(jī)8080有N卡的話加一個(gè)--gpus all、把鏡像tag換成latest-gpu-nvidia-cuda-12即可其余不變。鏡像里默認(rèn)只有核心模型需要某個(gè)推理引擎backend比如llama.cpp時(shí)會(huì)按需自動(dòng)拉取對(duì)應(yīng)的獨(dú)立鏡像——不用的后端不會(huì)裝。整條路徑就是下面這張圖拉鏡像、起服務(wù)、挑模型、發(fā)第一個(gè)API調(diào)用。改兩行配置鏡像可以從模型庫(kù)gallery直接拉取預(yù)配置好的模型用自己本地的.gguf文件大模型常見(jiàn)的量化格式時(shí)則在模型文件同目錄放一個(gè)yaml最小配置就三行backend: llama-cpp mmap: true context_size: 8192參數(shù)改它干嘛context_size上下文窗口長(zhǎng)度長(zhǎng)對(duì)話總被截?cái)嗑驼{(diào)大mmap內(nèi)存映射模型文件由系統(tǒng)按需換入數(shù)據(jù)省內(nèi)存大模型卡頓時(shí)試試關(guān)掉backend換推理引擎如llama-cpp、vllm、transformers跑通第一個(gè)對(duì)話服務(wù)起來(lái)后API是OpenAI兼容的——把任意OpenAI SDK的地址改成http://localhost:8080就能用。第一次調(diào)用會(huì)自動(dòng)拉取并加載模型耐心等一兩分鐘curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: llama-3.2-1b-instruct:q4_k_m, messages: [{role: user, content: 用一句話打個(gè)招呼}] }返回里content字段出現(xiàn)模型回復(fù)文本比如content: 你好隨時(shí)可以開(kāi)始。就是通了。瀏覽器直接打開(kāi)http://localhost:8080還有一個(gè)內(nèi)置的Web界面可以不經(jīng)API直接對(duì)話下一步往哪走想換模型gallery/ 里是現(xiàn)成的預(yù)配置模板也可以用local-ai run從模型倉(cāng)庫(kù)或Hugging Face拉任意模型。想接Web前端8080的內(nèi)置界面先用著自己的應(yīng)用走OpenAI兼容API接口清單在 docs/content/features/。想多模態(tài)語(yǔ)音轉(zhuǎn)寫(xiě)、TTS、圖像生成都在同一個(gè)服務(wù)的同一套API下不用另起組件。想多機(jī)跑分布式模式PostgreSQL NATS組多節(jié)點(diǎn)推理見(jiàn) docs/content/features/distributed-mode.md。卡住了就翻 docs/content/getting-started/基本都有答案。【免費(fèi)下載鏈接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考