DeepSeek中国新创公司开源低成本AI模型,引发市场对AI成本降低和边缘AI升级的关注。
尽管DeepSeek持续开源技术受到开发者欢迎,但专家指出,其大模型仍最适合云端应用,边缘AI模型仍以其他业者服务为主。
近20家AI芯片公司宣布适配DeepSeek蒸馏模型,但仅少数完成适配“满血版”大模型,反映出国产芯片实力有限。满血版模型需多台高端GPU服务器及互联技术,目前服务速度仍在较低水平。
优必达CEO郭荣昌指出,LLM对话每秒生成速度至少需达15 tokens/sec才能顺畅,大模型在PC或手机上运行仍卡顿,目前以云端应用为主。
边缘端使用率较高的小模型仍为Meta Llama、Google Gemma、微软Phi等系列。
DeepSeek宣布将开源5个程序码库,包括针对Hopper GPU的FlashMLA解码架构和改善混合专家模型路由通讯的DeepEP,旨在充分发挥既有硬件效能。开发者对此表示期待,但边缘AI应用成长仍需时日。
本文链接:http://www.28at.com/showinfo-27-134224-0.htmlDeepSeek开源技术受瞩目,但边缘AI应用成长仍需时日
声明:本网页内容旨在传播知识,不代表本站观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。