論文總結(jié)與翻譯：Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices一、論文主要內(nèi)容總結(jié)該論文針對(duì)基于混合專家（Mixture-of-Experts, MoE）架構(gòu)的稀疏激活大型語言模型（LLMs）在資源受限設(shè)備上的聯(lián)邦微調(diào)難題展開研究，提出了名為Flux的系統(tǒng)，旨在最小化模型達(dá)到目標(biāo)精度所需的時(shí)間（time-to-accuracy）。1. 研究背景與挑戰(zhàn)MoE模型特性：MoE-based LLMs包含多個(gè)專業(yè)專家網(wǎng)絡(luò)，需通過微調(diào)適配特定領(lǐng)域數(shù)據(jù)，但現(xiàn)實(shí)中數(shù)據(jù)常分散在多個(gè)參與者手中，且受隱私保護(hù)或法律限制無法共享，聯(lián)邦學(xué)習(xí)成為理想訓(xùn)練范式。核心挑戰(zhàn)：MoE模型規(guī)模龐大（如Qwen2-MoE參數(shù)達(dá)57.4B，占用112.4GB內(nèi)存），超出個(gè)體參與者計(jì)算能力；現(xiàn)有優(yōu)化方法（量化、計(jì)算卸載、專家剪枝）存在精度損失、延遲高或性能下降等問題，且未充分考慮MoE特有屬性。2. 關(guān)鍵觀察MoE微調(diào)成本高：即使僅更新專家參數(shù)（占模型參數(shù)超2/3），微 Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices
論文總結(jié)與翻譯：Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices一、論文主要內(nèi)容總結(jié)該論文針對(duì)基于混合專家（Mixture-of-Experts, MoE）架構(gòu)的稀疏激活大型語言模型（LLMs）在資源受限設(shè)備上的聯(lián)邦微調(diào)難題展開研究，提出了名為Flux的系統(tǒng)，旨在最小化模型達(dá)到目標(biāo)精度所需的時(shí)間（time-to-accuracy）。1. 研究背景與挑戰(zhàn)MoE模型特性：MoE-based LLMs包含多個(gè)專業(yè)專家網(wǎng)絡(luò)，需通過微調(diào)適配特定領(lǐng)域數(shù)據(jù)，但現(xiàn)實(shí)中數(shù)據(jù)常分散在多個(gè)參與者手中，且受隱私保護(hù)或法律限制無法共享，聯(lián)邦學(xué)習(xí)成為理想訓(xùn)練范式。核心挑戰(zhàn)：MoE模型規(guī)模龐大（如Qwen2-MoE參數(shù)達(dá)57.4B，占用112.4GB內(nèi)存），超出個(gè)體參與者計(jì)算能力；現(xiàn)有優(yōu)化方法（量化、計(jì)算卸載、專家剪枝）存在精度損失、延遲高或性能下降等問題，且未充分考慮MoE特有屬性。2. 關(guān)鍵觀察MoE微調(diào)成本高：即使僅更新專家參數(shù)（占模型參數(shù)超2/3），微