在第四届828 B2B企业节盛大启幕之际，华为云传来了一则振奋人心的消息：其Tokens服务已成功接入CloudMatrix384超节点，标志着华为云在AI算力领域迈出了重要一步。
借助xDeepServe架构的创新突破，华为云的单芯片性能实现了飞跃，达到了2400TPS的超高吞吐量和50ms的超低时延，这一表现远远超越了当前业界的平均水平。这一技术革新，无疑为AI应用的高效运行提供了强有力的支持。
近年来，中国AI算力需求呈现出爆炸式增长。据统计，从2024年初到今年6月底，中国日均Token消耗量从1000亿激增到30万亿，短短一年半时间增长了300余倍。这一数据不仅反映了我国人工智能应用规模的迅速扩张，也对算力基础设施提出了前所未有的挑战。
面对这一挑战，华为云于今年3月正式推出了基于MaaS的Tokens服务。该服务不仅提供了在线版、进线版、离线版及尊享版等多种规格，以满足不同应用和场景的性能需求，还通过灵活的计费方式，为用户带来了更为便捷、低成本的算力解决方案。
此次Tokens服务接入CloudMatrix384超节点，更是将性能推向了新的高度。借助384原生的xDeepServe框架，吞吐量从年初的1920TPS跃升至2400TPS，TPOT也降低至50ms。这一提升，无疑为AI工具的高效运行提供了更为坚实的算力保障。
华为云的这一成就，并非单点突破，而是从硬件到软件、从算子到存储、从推理框架到超节点的全方位创新。CloudMatrix384超节点以其全新的计算架构，突破了性能瓶颈，构筑了强大的算力基础。同时，CANN昇腾硬件使能、EMS弹性内存存储以及xDeepServe分布式推理框架等技术的协同作用，共同推动了算力的极致释放。
作为CloudMatrix384超节点的原生服务，xDeepServe采用了Transformerless的极致分离架构，将MoE大模型拆分为可独立伸缩的微模块，实现了高效的算力分配和利用。通过这一架构，CloudMatrix384上的大模型被拆解成“积木”，并分配到不同的NPU上同步处理任务，从而构建了一条超高吞吐的LLM服务平台，即Tokens的“超高速流水线”。
CANN作为硬件加速计算的中间层，包含了多个算子库和高性能通信库等组件，为AI模型的高效运行提供了有力支撑。其中，专为超节点上的大语言模型（LLM）服务打造的高性能通信库XCCL，充分发挥了CloudMatrix384扩展后的UB互联架构的潜力，为Transformerless的全面分离奠定了坚实的硬件基础。
而FlowServe作为被重构的“去中心”式分布式引擎，则将CloudMatrix384切割成完全自治的DP小组，每个小组都具备Tokenizer、执行器、RTC缓存与网络栈等完整功能，实现了千卡并发也不拥堵的高效运行。
目前，华为云MaaS服务已广泛支持DeepSeek、Kimi、Qwen等主流大模型及versatile、Dify等主流Agent平台。通过大量的模型性能优化和效果调优，华为云实现了“源于开源，高于开源”的目标，让更多大模型能够在昇腾云上实现更快更好的运行。
以文生图大模型为例，在轻微损失画质的前提下，通过Int8量化、旋转位置编码融合算子等方式，华为云MaaS平台实现了出图速度的两倍提升，最大尺寸支持达到2K×2K。而在文生视频大模型上，通过量化提速和通算并行等方式，视频生成速度大幅提升，相较于友商实现了3.5倍的性能提升。
在应用层面，华为云已与超过100家合作伙伴携手深入行业场景，共同推出了丰富的Agent解决方案。这些方案在调研分析、内容创作、智慧办公、智能运维等领域发挥了重要作用，帮助企业更便捷地拥抱AI创新，加速智能化转型。
例如，基于MaaS平台推出的今日人才数智员工解决方案，集成了先进的自然语言处理、机器学习和深度学习技术，能够智能交互并处理任务，显著提升服务效率与客户满意度。而北京方寸无忧科技开发的无忧智慧公文解决方案，则通过智能化手段提升了公文处理效能，推动了政企办公的智能化转型。
举报 0收藏 0打赏 0评论 0分享 0 更多>同类资讯
国产操作系统银河麒麟V11面世，飞腾自研CPU完成深度适配飞腾官方宣布，作为麒麟软件战略合作生态伙伴，旗下最新 CPU 产品飞腾腾锐 D3000M、飞腾腾云 S5000C-E 已完成与银河麒麟操作系统V11 的深度适配。生态方面开放支持国内外 CPU、GPU、N…08-28OpenAI与Anthropic互检AI模型：GPT系列现谄媚倾向，Claude拒答高风险问题08-28巨人网络上半年营收利润双增，计划中期分红2.84亿08-28英伟达二季财报亮眼：营收467亿美元，连续九季刷新纪录08-282025百度云智大会启幕：百舸千帆升级，AI数字员工"吴彦祖"等亮相08-28国产AI芯片领头羊！寒武纪股价飙升，市值超6500亿成A股新“股王”08-28寒武纪股价飙升近16%，力压贵州茅台，登顶A股“新贵之王”08-28
华为MateXTs与三星新机同日争艳，9月科技圈再掀波澜至于三星首款三折叠屏手机，可能会命名为三星Galaxy GFold，此番缺席9月4日的发布会，那么就可能会延期到年底、甚至明年才能和我们见面了。 三星Galaxy G Fold大战华为MateXTs，9月…08-28科大讯飞2025上半年财报亮点：教育医疗业务强劲，研发投入持续加大在教育领域，智慧教育业务营收35.31亿元，同比增长23.47%，占总营收比重提升至32.36%，其中AI学习机收入实现翻番增长，成为拉动教育业务的核心动力。 作为人工智能领域的重要力量，科大讯飞凭借自主可控…08-28OpenAI与Anthropic联手测试AI安全，共筑行业安全防线08-28OpenAI回应青少年自杀事件：将推家长监控，升级技术干预危机08-28AI算力引领未来：IDC预测全球ICT市场五年将增至7.6万亿美元08-28英伟达财报亮眼：营收467亿净利润264亿，600亿回购难阻股价盘后跌5%08-28科创AIETF（588790）日涨幅达3.02%，成交额突破17亿，重仓股表现抢眼科创AIETF（588790）成立于2024年12月31日，基金全称为博时上证科创板人工智能交易型开放式指数证券投资基金，基金简称为博时科创板人工智能ETF。 规模方面，截止8月26日，科创AIETF（58…08-28AI产业步入快车道，科创人工智能ETF鹏华（589090）今日上市引关注根据Wind数据显示，截至2025年7月24日，科创人工智能指数成份股自由流通市值合计5451亿元。此外，推理与训练算力需求爆发拉动AI芯片市场规模扩张，随着厂商加大研发及行业政策刺激，以寒武纪为代表的本土…08-28点击查看更多 +全站最新
公募基金“限购潮”来袭，投资者如何理性应对布局？
法拍市场奇闻：从狸花猫到豪宅，荒诞与现实交织的财富游戏
北矿检测市占率四年新低，退休返聘人员成签发主力，订单响应慢引客户流失
老牌柴油机巨头华丰股份上半年净利大跌72%，印度市场受挫转型寻新路
中海地产稳健前行：手握千亿现金，加速核心城市布局
机构与散户共舞，股市新推手显现热门内容
华为云Tokens服务接入384超节点，全栈创新引领AI算力新飞跃国产操作系统银河麒麟V11面世，飞腾自研CPU完成深度适配华为MateXTs与三星新机同日争艳，9月科技圈再掀波澜
A股新“股王”易主，寒武纪股价飙升，市值超6000亿
机器人产业热度攀升，机器人ETF易方达资金净流入超十亿
上海电信携手上海AI实验室，突破智算互联瓶颈，荣获算力中国年度大奖
本文链接：http://www.28at.com/showinfo-45-27097-0.html华为云Tokens服务接入384超节点，全栈创新引领AI算力新飞跃
声明：本网页内容旨在传播知识，不代表本站观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
