在第四届828 B2B企业节的盛大开幕式上，华为云公布了一项重大进展：其Tokens服务已成功融入CloudMatrix384超节点体系。这一融合得益于xDeepServe架构的革新，使得单芯片的处理能力突飞猛进，达到了前所未有的2400TPS（每秒事务处理数），同时保持了50ms的TPOT（任务处理总时间），这一成绩远超当前行业标准。
面对中国AI算力需求的爆炸式增长，华为云展现出其“全栈创新”的实力。数据显示，从2024年初至2025年6月底，中国日均Token消耗量从1000亿飙升至30万亿，这一300多倍的增长凸显了人工智能应用的迅猛扩张，也对算力基础设施提出了更高要求。
早在今年3月，华为云便推出了基于MaaS（模型即服务）的Tokens服务，旨在满足不同应用与场景的性能和时延需求。该服务提供多种规格，如在线版、进线版、离线版及尊享版，为大模型和Agent智能体等AI工具提供了灵活、高效且成本优化的算力解决方案。
此次，Tokens服务与CloudMatrix384超节点的结合，通过xDeepServe框架的再次升级，将吞吐量从年初的1920TPS提升至2400TPS，TPOT则缩短至50ms。这一成就背后，是华为云从硬件到软件、从算子到存储、从推理框架到超节点的全方位技术创新。
CloudMatrix384超节点以其独特的计算架构，打破了性能瓶颈，奠定了坚实的算力基础。同时，CANN（昇腾计算架构）硬件使能技术优化了算子与通信策略，使得云端算力得以高效调用。EMS弹性内存存储则打破了AI内存墙，实现了“以存强算”，进一步释放了芯片算力。而xDeepServe分布式推理框架，则通过Transformerless的极致分离架构，让超节点能够释放出更高效的算力。
xDeepServe将MoE大模型拆解为可独立伸缩的Attention、FFN、Expert三个微模块，这些“积木”被分配到不同的NPU上同步处理任务，然后通过高效的XCCL通信库与FlowServe自研推理引擎重新组合，形成超高吞吐量的LLM服务平台。这一创新架构，使得单卡吞吐量从600tokens/s跃升至2400tokens/s。
XCCL作为专为超节点上的大语言模型服务设计的高性能通信库，充分发挥了CloudMatrix384的UB互联架构潜力，为Transformerless的全面分离提供了坚实的带宽与时延支持。而FlowServe作为“去中心”式分布式引擎，将CloudMatrix384划分为完全自治的DP小组，每个小组自给自足，确保了千卡并发时的流畅运行。
华为云MaaS服务目前已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify等主流Agent平台。通过大量的模型性能优化与效果调优，华为云实现了“源于开源，高于开源”，让大模型在昇腾云上展现出更卓越的性能。例如，在文生图大模型上，通过量化与融合算子等技术，华为云MaaS平台在轻微损失画质的情况下，实现了出图速度的两倍提升，最大支持2K×2K尺寸。在文生视频大模型上，则通过量化与通算并行等方式，大幅提升了视频生成速度，相较于竞争对手实现了3.5倍的性能优势。
在应用层面，华为云已与超过100家合作伙伴携手，深入行业场景，共同开发丰富的Agent应用。这些应用覆盖了调研分析、内容创作、智慧办公、智能运维等多个领域，解决了众多产业难题，帮助企业更便捷地拥抱AI创新，加速智能化转型。例如，基于MaaS平台推出的今日人才数智员工解决方案，集成了先进的自然语言处理、机器学习和深度学习技术，能够智能交互并处理任务，显著提升服务效率与客户满意度。而北京方寸无忧科技开发的无忧智慧公文解决方案，则提升了公文处理效能，推动了政企办公的智能化转型。
举报 0收藏 0打赏 0评论 0分享 0 更多>同类资讯
Rokid Glasses智能眼镜纽约亮相，全球可穿戴AI领域迎新突破IT之家 8 月 27 日消息，Rokid 官方今日晚宣布，Rokid Glasses在美国纽约正式面向海外市场发布，标志着全球可穿戴人工智能领域迈入新阶段。 此前，Rokid 与高德地图达成合作，联合发布…08-28
科大讯飞40亿定增，加速布局AI教育，剑指3000亿蓝海市场AI重塑教育，背后得益于科大讯飞等中国AI领头羊的持续创新和精进，它抢抓AI时代根红利，正在G端、B端、C端等教育场景规模化落地AI。 科大讯飞积累了庞大的、高质量的语料、教育数据、用户反馈和业务经验，为星…08-28IBM与AMD强强联合，探索量子计算与AI融合新境界08-28
AI芯片巨头寒武纪股价飙升，超越茅台暂成A股“新贵”近期，高盛发布研报，进一步上调寒武纪目标价50%至1835元，主要原因包括中国云计算资本支出提高、芯片平台多样化、寒武纪研发投入增大等。 据TrendForce预测，2025年中国AI服务器市场中外采芯片比…08-28AI产业链火爆！科创人工智能ETF华夏(589010)高开高走，寒武纪权重超15%今日截至10点02，在寒武纪财报远超预期、《“人工智能+”行动意见》发布等多重利好加持下，AI产业链全线爆发，智能音箱、DeepSeek、MCU等概念指数领涨市场。该应用整合了深度思考、资源检索以及影视娱乐功…08-28
寒武纪商业帝国全貌探析08-28美夫妇控告OpenAI：ChatGPT助16岁儿走向不归路08-27知乎Q2财报亮点：经调整净利润9130万，AI赋能社区生态显成效08-27昆仑万维2025上半年财报：亏损8.59亿，短剧平台DramaWave单月流水破2千万美元08-27华为云Tokens服务性能飞跃：全面接入384超节点，吞吐量飙升至2400TPS08-27马蜂窝陈罡：AI成旅游业变革核心，推动服务向全程智能化跃迁08-27
荣耀端侧AI语音技术突破，入选国际顶会，引领智能翻译新时代荣耀MagicOS副总裁孙建发表示，此次研究成果入选 INTERSPEECH，是对荣耀技术创新的鼓励，同样印证了“从用户需求出发”的研发理念，让每位用户在无网络环境下也能享受精准、实时的多语种翻译，这才是端侧…08-27
苹果AI布局加速，或将斥巨资收购欧洲两大AI初创企业IT之家 8 月 26 日消息，The Information 今晚报道称，苹果高管已就收购欧洲最大 AI 初创公司 Mistral 或Perplexity AI 相关事宜展开讨论，其中 Eddy Cue …08-27人工智能板块火热，AIETF（515070）近一年涨幅超110%，持仓股表现亮眼昨日高层印发“人工智能+”行动意见引爆科技赛道，人工智能AIETF（515070）持仓股中乐鑫科技20CM涨停、中科创达、瑞芯微、科大讯飞。 消息方面，摩根大通认为，鉴于杠杆率和估值仍处于适度水平，料中国股…08-27AI初创Anthropic与作家达成和解，版权争议风波暂告一段落08-27点击查看更多 +全站最新
华为Mate XTs官宣：抢在iPhone 17前发布，三折叠新机再升级
苹果秋季发布会预告：iPhone 17 Air超薄亮相，多款新品亮点抢眼
谷歌研发iOS兼容“快速分享”，安卓iOS文件互传将更便捷
苹果iPhone17发布会定档，iPhone15及16部分机型或面临停售
马斯克发起AI诉讼战：指控苹果与OpenAI垄断市场
iPhone17系列即将来袭：苹果秋季发布会9月10日见真章热门内容
华为云Tokens服务升级，384超节点助力实现2400TPS高性能算力Rokid Glasses智能眼镜纽约亮相，全球可穿戴AI领域迎新突破科大讯飞40亿定增，加速布局AI教育，剑指3000亿蓝海市场AI芯片巨头寒武纪股价飙升，超越茅台暂成A股“新贵”寒武纪商业帝国全貌探析荣耀端侧AI语音技术突破，入选国际顶会，引领智能翻译新时代
本文链接：http://www.28at.com/showinfo-45-27035-0.html华为云Tokens服务升级，384超节点助力实现2400TPS高性能算力
声明：本网页内容旨在传播知识，不代表本站观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
