在第四届828 B2B企业节盛大开幕之际，华为云宣布了一项重大技术进展：其Tokens服务已成功融入CloudMatrix384超节点，借助创新的xDeepServe架构，实现了单芯片2400TPS的超高吞吐量和50ms的极低时延，这一性能表现远超当前业界标准。
面对中国AI算力需求的急剧增长，华为云积极应对挑战，推出了基于MaaS的Tokens服务。从最初按卡时计费的模式，到如今提供包括在线版、进线版、离线版及尊享版在内的多样化服务规格，这一转变不仅满足了不同应用和场景的性能需求，更为AI工具如大模型和Agent智能体等提供了更为灵活、高效且成本友好的算力支持。
此次Tokens服务与CloudMatrix384超节点的结合，是华为云算力构建策略的重要里程碑。通过384原生的xDeepServe框架，服务吞吐量实现了从年初的1920TPS到2400TPS的显著提升，同时保持了极低的时延。这一成就得益于华为在硬件、软件、算子、存储、推理框架及超节点等各个层面的全栈创新能力。
CloudMatrix384超节点以其革新的计算架构，打破了性能瓶颈，为澎湃算力奠定了坚实基础。而CANN昇腾硬件使能则通过优化算子和高效通信策略，确保云端算力得以最高效地调用和组合。EMS弹性内存存储技术更是突破了AI内存墙，实现了“以存强算”，让每颗芯片的算力得到彻底释放。xDeepServe分布式推理框架则以其Transformerless的极致分离架构，进一步提升了超节点的算力效率。
xDeepServe通过将MoE大模型拆分为可独立伸缩的Attention、FFN、Expert微模块，实现了在CloudMatrix384上的高效并行处理。这些微模块被分配到不同的NPU上同步执行任务，并通过基于内存语义的微秒级XCCL通信库与FlowServe自研推理引擎重新组合，形成了一条超高吞吐量的LLM服务平台，即Tokens的“超高速流水线”。
作为专为超节点上的大语言模型服务设计的高性能通信库，XCCL充分发挥了CloudMatrix384扩展后的UB互联架构潜力，为Transformerless的全面分离提供了坚实的带宽与时延基础。而FlowServe作为被重构的“去中心”式分布式引擎，则将CloudMatrix384划分为完全自治的DP小组，每个小组都能自给自足，确保了即使千卡并发也不会出现拥堵现象。
华为云MaaS服务目前已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify等主流Agent平台。通过积累的大量模型性能优化和效果调优技术，华为云实现了“源于开源，高于开源”，让更多大模型在昇腾云上展现出更快的运行速度和更好的性能表现。以文生图大模型为例，在轻微损失画质的情况下，通过Int8量化和旋转位置编码融合算子等方式，华为云MaaS平台实现了出图速度的两倍提升，最大尺寸支持达到2K×2K。而在文生视频大模型上，通过量化提速和通算并行等方式，视频生成速度相较于友商实现了3.5倍的性能提升。
在应用层面，华为云已与超过100家合作伙伴携手，深入行业场景，共同构建了丰富的Agent，广泛应用于调研分析、内容创作、智慧办公、智能运维等领域，解决了众多产业难题。例如，基于MaaS平台推出的今日人才数智员工解决方案，集成了先进的自然语言处理、机器学习和深度学习技术，能够智能交互并处理任务，显著提升了服务效率与客户满意度。而北京方寸无忧科技开发的无忧智慧公文解决方案，则有效提升了公文处理效能，推动了政企办公的智能化转型。
随着以Token为动力的智能社会的到来，华为云凭借其系统级创新能力和全新的Tokens服务，正构筑起先进算力，助力各行各业加速落地AI，推动智能化进程。
举报 0收藏 0打赏 0评论 0分享 0 更多>同类资讯
超六成iPhone用户意向购买iPhone 17系列，电池续航成升级主因快科技9月2日消息，智能手机比价平台SellCell发布iPhone用户调查：超六成计划购入iPhone 17，电池续航成首要升级因素。据悉，SellCell 8月份针对2000余名美国iPhone用户展开…09-03
8月A股定增市场升温，TCL科技、*ST松发领衔募资榜以首次披露预案公告日统计，2025年8月A股上市公司披露的定增预案（同一定增预案下的募资及配套募资合并统计，下同）共计44起，拟募资规模合计约352.78亿元，同比上升112%、环比上升24%。 从单家公司…09-02
北大计算机学院&中国电信云研究院联袂招生：计算机视觉方向联培博士计算机学院同国内外多所大学、研究机构建立密切的学术联系和学生交换项目，如美国麻省理工学院（MIT）、卡耐基梅隆大学（CMU）、康奈尔大学（Cornell）、加州大学洛杉矶分校（UCLA），英国爱丁堡大学，日…09-02LayerX：日本AI新星获1亿美元融资，引领企业后台自动化革命09-02Prime Intellect发布“环境中心”平台，旨在打破AI强化学习封闭生态09-02DeepSeek标识AI生成内容，提升用户认知与信息安全09-02新加坡初创公司推出层次推理模型HRM，实现AI推理速度百倍提升09-02Meta超级智能实验室动荡：内讧、人才风波挑战超级智能梦09-02苏宁易购引领国产AI突破：灵思大模型携手寒武纪，成本大降效率飙升09-02OpenAI拟在印度建大型数据中心，加速亚洲AI基础设施布局09-02Salesforce采用AI代理系统，精简4000人力，加速业务效率提升09-02马斯克xAI公司起诉前工程师，涉嫌窃密跳槽至竞争对手OpenAI09-02台积电二季度晶圆代工市场份额再创新高，占比超七成09-02超六成iPhone用户欲换iPhone 17，电池续航成换机最大诱因09-02
华为若上市，市值能否超越数十个寒武纪？最近，一些板块涨疯了，市值动辄数百倍，有的上千倍，一些营收不多、常年亏损的公司，股价高达数百亿，一两年时间股价涨了数倍，甚至涨了上十倍。 但上市公司就不同了，在研发投入尤其是基础研发投入方面，决策可能会受股东…09-02点击查看更多 +全站最新
本田CB500SF或将亮相摩博会，复古街车新风采引期待
蔚来李斌透露新车规划：四季度冲刺月销5万，加速产能提升
宝马发布全新电动踏板概念车Vision CE“梦幻CE”，配备防护架引关注
福特Mustang GT500即将重启，伪装原型车动力强劲引期待
方程豹钛7将于9月9日上市，预计起价低于25万，高配配智能无人机
腾势汽车8月销量破万，D9至尊版领衔成都车展，加速全球豪华市场布局热门内容超六成iPhone用户意向购买iPhone 17系列，电池续航成升级主因8月A股定增市场升温，TCL科技、*ST松发领衔募资榜北大计算机学院&中国电信云研究院联袂招生：计算机视觉方向联培博士华为若上市，市值能否超越数十个寒武纪？
智慧家庭新时代：网络万兆升级，AI交互革新，服务机器人引领终端变革
谷歌Pixel 10内存新设计：AI专用内存引发用户关注
本文链接：http://www.28at.com/showinfo-45-27247-0.html华为云Tokens服务接入384超节点，算力突破至2400TPS引领AI创新
声明：本网页内容旨在传播知识，不代表本站观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
