https://softon.top/tags/%E6%98%86%E4%BB%91%E8%8A%AF/ Recent content in 昆仑芯 on softon.top Hugo zh-CN Mon, 05 Oct 2026 00:00:00 +0000 https://softon.top/ai/loongforge-baidu-open-source-training-framework-gpu-xpu/ Mon, 05 Oct 2026 00:00:00 +0000 https://softon.top/ai/loongforge-baidu-open-source-training-framework-gpu-xpu/ <p>训练大模型最痛苦的事，不是模型设计，是<strong>框架和硬件的割裂</strong>。</p> <p>你在 NVIDIA GPU 上跑得好好的 Megatron-LM，换到国产芯片上几乎每个环节都要定制修改。&ldquo;可以运行&quot;和&quot;高效运行&quot;之间，隔着三到四周的侵入式二次开发。</p> <p>2026 年 10 月，百度百舸开源了 <strong>LoongForge</strong>——一套代码同时跑 NVIDIA GPU 和昆仑芯 XPU，覆盖 LLM、VLM、扩散模型、具身模型（VLA），端到端训练提速 15%~45%，在 5000+ 卡昆仑 P800 集群上实现 90%+ 线性扩展效率。</p> <p>GitHub 575 stars，Apache 2.0 协议，基于 Megatron-LM 核心引擎原生重构。HelloGitHub 10 月 5 日推荐。</p> <blockquote> <p><strong>TL;DR</strong></p> <ul> <li>LoongForge 是百度百舸开源的全模态训练框架，基于 Megatron-LM 重构，Apache 2.0</li> <li>一套代码同时跑 NVIDIA GPU 和昆仑芯 XPU，20+ 模型族开箱即用（DeepSeek/Qwen/InternVL/ERNIE/Pi0.5/WAN 等）</li> <li>端到端训练提速 15%~45%，DeepSeek V3.2 等前沿架构倍级提升</li> <li>核心优化：DP 负载均衡、模型异构并行（ViT 与 LLM 独立策略）、ChunkPipe 长序列流水线、自适应 FP8、FusedDSA/Sparse MLA</li> <li>5000+ 卡昆仑 P800 集群 90%+ 线性扩展效率，具身模型近 200% 加速</li> </ul> </blockquote> <h2 id="为什么需要-loongforge框架与硬件的割裂">为什么需要 LoongForge？——框架与硬件的割裂 </h2><p>大模型训练框架的现状是一个&quot;不可能三角&rdquo;：<strong>要性能用 Megatron-LM，要易用用 HuggingFace，要国产硬件兼容就从头魔改</strong>。</p>