简介
Intelligence BooM AI开源基础软件栈是联合多家社区、伙伴成员一起打造的大模型全栈开源解决方案，包含异构融合平台、任务管理平台、数据管理平台、运行加速平台、智能应用平台及全栈安全平台等7大平台，20+开源组件。伙伴可以基于本次发布的参考实现进行商业场景应用，参与社区代码开发，进行技术及Agent应用创新等。
愿景
打破技术壁垒
通过全栈开源加速大模型推理技术普惠化
赋能行业转型
共建智能化应用平台支撑产业智能化升级
推动生态协同
联合社区、高校与企业统一技术标准并增强生态兼容
第二版本：敲鱼面
支持NPU抢占混部，降低微调门槛，业界首发操作系统领域模型，为构建领域模型平台打下基础
高性能
异构算力融合，支持算力切分混部，推理多快好省
多级缓存，多轮、长序列对话场景TTFT降低50%+
易开发
大模型生成昇腾算子：AIKG 在真实场景基本可用，Triton算子开发效率x5+
全功能
支持 Atlas 300等系列低成本微调，50+模型增训
开箱即用：面向Agentic AI 软件生态适配 Dify 等流行方案
易使用
快速微调：从镜像部署到首loss耗时小于15分钟
能力解耦复用：MindSpore 图模式能力解耦，支持 PyTorch
生态构建
和上游社区开发合作，联合 vLLM 发布 vLLM-omni，联合 LMCache 发布 LMCache-Ascend
OS领域首发领域模型，openEuler OS Model 业界首发，4B领域模型系统调优效果持平DeepSeek 671B，支持CPU推理
CPU
NPU
GPU
首版本：烩面
构建推理+智能体的开源解决方案，一键部署，开箱即用
全功能
Agent智能体支持：调优/运维智能体大幅进化，RAG检索增强生成能力
支持多样性硬件：CPU(x86、ARM)、NPU(昇腾910/310)、GPU(NV)
高安全
全栈安全：保证软件平台自身安全可信，保护业务数据&模型资产安全
易使用
一键式部署：结合oeDeploy工具，一个命令15分钟完成分布式部署
支持主流开源模型：累计支持50+模型，0 day适配
部署方式可扩展：单机/双机/四机及大集群部署DeepSeek V3/R1模型
CPU+xPU可协同：支持CPU+xPU协同推理，及MoE专家异构弹性扩展
易开发
面向企业应用的Agent开发平台：强化工作流结合能力
算子开发语言：基于 Triton 和 SWFT ，算子模型协同开发，降低开发门槛
AI生成算子：Multi-Agent 架构的 LLM 算子生成框架，支持多前端和后端
openEuler AI 联合工作组成员
