开源社区

央企牵头!这个AI开源社区要让大模型跑遍「中国芯」

央企牵头!这个AI开源社区要让大模型跑遍「中国芯」

  • 发布:
  • 人气: 16
  • 评论: 0
标签:

应用介绍

  」(以下简称「适配计划」),集结开发者、算法团队、芯片厂商与推理工具伙伴,共建开源协同生态。

  比如,vLLM等高性能推理引擎,CANN、MUSA等计算架构,FastDeploy、FlagServing等部署工具,以及众多开源的模型转换、量化、融合工具等……这些工具在各自领域都发挥了重要作用,整个工具链其实已经相对完整。然而,挑战在于如何有效连接和协同这些分散的工具链与适配经验。因此,亟需一个跨环节的协作平台与机制,把这些资源组织起来,解决「最后一公里」的适配难题。

  第一件事,是把原来的「镜像中心」升级为「工具中心」,位置也从「更多」菜单一跃来到首页C位,对标模型库、数据集——

  类似模型库的运作逻辑,「工具」中心将提供模型转换迁移工具,也将支持开发者上传自己适配好的推理镜像、工具链和运行环境,还可以对已有镜像进行更新。

  换句话说,升级后的板块就是想让「环境跟着模型走」,将碎片化的适配经验沉淀为标准化、可复用的结构化基础设施,让后续开发者无需重复造轮子,直接站在已有成果上推进适配和性能优化,大幅降低协作成本。

  以前,模型架构和权重文件一经上传,基本就「尘埃落定」。但像Readme文档、适配好的推理代码等内容,却得随着芯片、工具链适配进展不断更新。

  比如,今天模型适配了一个芯片,明天又支持了另一种,这些信息和代码都得有人来更新和上传,并且不同开发者的适配成果可能分散在各处,难以汇总复用。

  文档即代码:Readme不再是静态说明,而是支持多人实时编辑的协作载体,适配进展、使用指南等信息实时同步。

  比如,模型开发者上传了一个大模型到魔乐社区,不止模型权重,还有配套的推理工具链。一旦模型被标记为「基础模型」, 模型卡片就会自动开启「协作」入口。

  例如,如果有工程师想将模型适配跑在某款芯片上(例如昇腾),只需要点开「协作」按钮,选择目标推理引擎,新建一个「Ascend」文件夹,提交适配后的推理代码,提个PR,就能提交到社区。

  这种机制将分散的适配工作聚合到统一平台,支持一键下载与二次开发,避免了成果碎片化,让每一次适配进展都能沉淀为社区共享的资产。

  一方面联动壁仞科技、海光、华为(昇腾)、摩尔线程、沐曦、算能、燧原科技等国产算力厂商(按中文首字母排序,无先后顺序),为开发者提供硬件、工具和技术支持。

  另一方面,整合多元化适配和推理软件生态,并联合工具伙伴,助力开发者快速掌握适配工具链,实现跨硬件平台与引擎组合的深度推理性能调优。

  接下来,「适配计划」 将持续开放,持续吸纳更多芯片厂商、模型开发者与开发者加入;SIG(特别兴趣小组)技术组也将进入常态化运作,聚焦适配技术攻坚与标准制定。

  若此协作机制成功运转,将有望解决国产芯片生态最棘手的 「协同短板」——让模型与芯片的适配从 「零散突破」 走向 「体系化落地」,为国产AI算力生态的闭环构建提供关键支撑。

  很多人还记得,DeepSeek-R1爆火出圈后,一件不太常见的事发生了:国产芯片厂商「组团发声」,纷纷宣布已完成对该模型的适配,并表示正在推进更多大模型的适配工作。

  但现实却很尴尬:大模型加速落地,随着金融、政务、制造等重点行业对「自主可控」的需求越来越强,国产芯片的出场机会越来越多,然而,真正能做到「即拿即用」的大模型,依旧寥寥无几。

  开源大模型不是一个「装好就能跑」的整包,它往往拆成模型架构、权重和推理代码三块。HuggingFace这样的开源平台聚焦模型分发和训练等,并不侧重构建异构算力的协同适配机制。

  国产芯片之间架构差异大,很多都有自己独立的推理引擎。同一个模型,想让它在不同芯片上跑得通、跑得快,就得「量身定制」——专门做适配、调度、优化。

  更多时候,是芯片厂商主动出击。随着大模型推理结构的日趋标准化、算子体系逐步统一,「自己动手」的门槛已显著降低。就像DeepSeek爆火之后,一些厂商为了尽快跑通,从芯片指令集到内存管理、数据传输都做了大幅调整。

  还有一类,就是开发者出于兴趣或业务需求自发适配。但这类工作高度分散、重复投入严重,质量也参差不齐。

  对比之下,为什么Hugging Face上的模型大多都能在英伟达GPU上开箱即用?靠的不是单一厂商的「单点突破」,而是整个生态高度打通,工具链成熟完善。

  不再单打独斗,通过构建统一的协作框架,串联模型开发者、芯片方、工具方与开发者,形成生态合力,一起把模型从「能发布」推到「即插即用」。

  2024年8月,在央企巨头、中国电信天翼云的牵头下,魔乐社区正式上线。与很多主打「模型集市」的开源平台不同,魔乐从一开始就瞄准了另一个更现实、也更棘手的问题:

  模型当然重要,但真正推动国产AI落地的,不只是一个个模型,而是支撑它们生长的底座系统——包括开源数据集、适配工具、部署引擎,乃至合规、调度、治理等基础能力。

  社区已汇聚1000+优质大模型、涵盖TeleChat、DeepSeek、Qwen、智谱等大模型,其中多数都已经适配好国产算力。

  基于社区提供的模型和算力,开发者可通过Gradio等主流SDK快速搭建AI应用,并一键部署、分享。

  魔乐社区致力于发掘、打造和推广好的项目。一方面,深耕高校等原生创新场景,定向发掘一批基于国产算力起步的潜力项目。

  另一方面,通过「国产算力应用创新大赛」等机制,实战中筛选优质标的,推动它们与底层算力平台的深度适配与融合。

  Stable Diffusion WebUI、ComfyUI虽在设计创作领域早已成名,但缺乏系统的国产适配支持。魔乐正加大力度,推动它们与国产工具链深度融合,加速落地,近期正式上线了AIGC专区,已实现基于国产算力的快速专业生图。

相关应用