Akamai宣布推出一款名为Akamai Cloud Inference的战略级AI推理解决方案。该方案基于其全球分布式云平台打造，与传统超大规模云架构相比，其吞吐量提升3倍，延迟降低60%，成本减少86%。
Akamai云技术部门首席运营官兼总经理Adam Karon表示，训练类似于绘制地图，需要集中式超算中心；而推理则更像实时导航，必须在靠近用户的边缘完成。据Gartner数据，2025年约75%的数据将产生于传统云区域之外，传统云架构在响应速度和数据传输成本方面已显不足。
Akamai Cloud Inference依托覆盖130个国家、4200多个节点的分布式网络，构建了独特的“云-边协同”架构。通过与NVIDIA、VAST Data等生态伙伴合作，该方案整合了GPU加速计算、向量数据库实时检索以及WebAssembly边缘执行的完整技术栈。
该解决方案创新性地结合了CPU、GPU和定制化ASIC VPU，根据不同推理场景动态分配资源。同时，Akamai与NVIDIA AI Enterprise生态系统深度整合，利用Triton、TAO Toolkit、TensorRT和NVFlare优化NVIDIA GPU上的AI推理性能。
此外，Akamai通过VAST Data实时数据访问、可扩展对象存储及Aiven/Milvus向量数据库技术，构建了支持检索增强生成（RAG）的智能数据架构，实现了微调模型的安全存储与全球范围内的低延迟AI推理。
Akamai还通过Linode Kubernetes Engine企业版与新发布的Akamai App平台，集成了KServe、Kubeflow等开源工具，构建了支持PB级性能自动扩展的容器化AI推理平台，并优化了混合多云部署和成本控制。
据悉，Akamai与Fermyon等Wasm供应商合作，将WebAssembly技术集成到无服务器架构中，使开发者能够在边缘端执行轻量化LLM推理，为延迟敏感型应用提供支持。