算力紧缺致大模型平台纷纷限额

算力紧缺致大模型平台纷纷限额

  2026年11月16日,不少用户在使用DeepSeek客户端或网页版时收到弹窗提示,平台因算力限制不再支持存续超过7天且无活跃交互的长对话,单次输入文字上限被缩短到约4万字,连续使用不到2小时的免费用户甚至会直接触发每日使用额度上限。对于习惯用AI工具修改几十页论文、批量处理代码或进行长篇文档整理的用户来说,近期的产品体验出现了明显下降,部分用户看到的闲置会话封存期限是7天,另一些用户则是72小时,尽管可以查看历史记录,但无法继续发送新消息,系统建议用户新开一个对话或将历史记录导出到其他应用程序中使用。

  这种主动收缩服务范围的做法,直接反映出后台服务器正承受着巨大负载。根据全球多模型聚合平台OpenRouter的数据,在2026年10月19日至10月25日这一周内,DeepSeek V4.1 Flash完成了33.6万亿token的调用,环比暴涨801%,到了11月9日至11月15日一周,token调用量更是达到59.2万亿,稳居全球首位,需求在三个月内翻了八倍以上。自2026年10月以来,该平台至少发生了8起服务异常或中断事件,其中一次故障持续了近五个小时,为了缓解危机,平台从2026年8月开始对开发者接口启用了峰谷分时定价,如今更是直接对免费用户设置了额度限制。

  同样的算力紧张问题也困扰着另一头部大模型产品Kimi。2026年10月下旬上线的Kimi K3.1 Pro支持100万token的上下文窗口,在代码生成和长程任务上表现亮眼,尽管官方下调了相关服务价格,但购买包月套餐的个人用户很快发现可用额度消耗速度远超以往。新模型为了提升回答质量,在后台频繁启动多智能体集群并发处理任务,导致单个任务消耗的token数量成倍增加,官方多次公开道歉,表示必须通过调整后台配置来减少不必要的子任务调用和输出长度,才能保证基础算力的稳定供应。

需求爆发与供给增速的错位

  为什么大模型公司如此惧怕用户的长对话,甚至不惜回收7天不活跃的聊天窗口?这与AI大模型的工作方式直接相关。大模型本身每次回答后都会失忆,要记住之前的对话上下文,后台系统必须将之前的所有对话内容打包重新计算,如果每次都从头计算一遍,不仅响应速度慢,耗电量也会非常大。为了解决这个问题,行业内发明了一种名为键值缓存的技术,将之前的中间计算结果临时存放在高带宽显存里,然而高带宽显存是当前最昂贵、最稀缺的硬件资源,随着对话轮数增加或用户一次性投喂大量文本,这些中间数据会占用大量显存空间,当几千万用户同时保留大量长期不活跃的长对话时,再庞大的服务器集群也会不堪重负。

  从更宏观的供需数据来看,这种紧张局面的出现并不意外。训练大模型像集中吃一顿大餐,完成一次训练后可以告一段落,而推理则是模型每次回答问题、读取长文件时的“日常饭量”,用户越多、调用越频繁,算力消耗就越持续。国家数据局公开数据显示,国内AI大模型日均词元调用量已从2024年初的1000亿飙升至2026年6月的500万亿,两年增幅超过千倍。

  同期供给端的增长速度却远远跟不上需求的脚步。工业和信息化部信息通信管理局局长谢存10月20日在国新办举行的新闻发布会上介绍,截至9月底,我国智能算力规模达2592EFLOPS,也就是每秒可以进行2592百亿亿次浮点运算,同比增长146%。146%的增速放在一般行业已经属于非常惊人的水平,但对照Token调用量千倍级的爆发,供给的增长斜率仍然明显偏平。DeepSeek计划在内蒙古数据中心部署至少16万颗华为昇腾芯片用于推理业务,正是为了补上推理算力的缺口,但芯片交付和集群上线都需要一定周期,无法立刻填补当前的需求缺口。

  算力价格的上涨已经沿着产业链层层传导。根据投行摩根士丹利8月一份研报统计,中国大模型平均API输出价格从2025年第一季度的约12.2元/百万tokens,已回升至2026年第二季度的21.9元/百万tokens,分析师认为,这一价格变化与国产算力成本的持续上升直接相关。曙光信息产业股份有限公司高级副总裁任京暘在2026中国国际大数据产业博览会期间接受媒体采访时坦言,当前的算力价格整体偏高,国产算力领域的相关问题尤为突出,近年来主流AI服务器价格成倍增长,“价格相当夸张”。

国产算力的现实运行逻辑

  当前国产算力的运行逻辑,可以概括为“单卡受限、系统突围”。单卡制程和带宽受外部供应链约束是现阶段的客观现实,行业的应对思路不是硬拼单卡跑分,而是用高速互联把数十张乃至上千张芯片整合成超节点集群,用系统级的有效算力弥补单卡性能的差距,好比单口灶的火力不够,就把几十口灶连成中央厨房统一调度,整体出餐效率就能大幅提升。

  这条技术路线目前已经走过样机验证阶段,昇腾384超节点商用落地超过750套,昇腾950超节点做到1024卡规模并开始商用。IDC数据显示,2026年上半年华为昇腾以28%的份额、约57.2万颗出货量位居中国AI加速器市场第二,英伟达份额为34%,两者的市场份额差距已经收窄至6个百分点,国产芯片合计市场份额已超过一半。“国芯配国模”的适配工作也在快速推进,基本实现了Day0同步适配,模型厂商迁移到国产底座的试错成本正在持续下降。

  算力芯片是算力中心建设的主要成本构成,当前高性能GPU等AI硬件的进口渠道并不顺畅,先进制程GPU的市场价格是国外同类型号的数倍,不仅影响算力供给的稳定性,还抬高了我国算力出海的价格,这迫使许多出海企业转而选择国外的算力服务。为了绕开国外专利壁垒的限制,国产算卡采取了“以网强算”的系统工程路线,在性能上追平了国际领先水平,付出的代价是数倍的厂房面积和服务器数量,企业运营的地租成本和电力消耗也相应成倍增长。

  算力产业链的上中下游分工目前已经十分清晰。上游是“打地基”环节,覆盖IP授权、晶圆代工、先进封装、高速互联、存储配套等领域,提供芯片制造和互连的基础能力,目前半导体设备、材料零部件和晶圆制造环节的业绩兑现能力最强,利润增速普遍较高。中游是“盖房子”环节,涵盖核心算力芯片设计,以及“芯片+服务器+软件栈”的系统级集成,是整个产业链价值最集中的一段,国产芯片和整机服务器随着订单规模不断放大,正从“营收翻倍但亏损”走向“营收翻倍、亏损收窄”的业绩拐点。下游是“住房子”环节,由政企智算中心、互联网云厂商等算力消纳端组成,决定了上游订单能否持续落地。当前国产算力链已经从单点技术突破转向系统效能跃升,进入订单验证、集群验证和财报兑现叠加的发展周期。

仍待突破的多重现实瓶颈

  尽管我国算力基础设施建设已经取得长足进展,但产业发展仍面临多重现实挑战。9月12日在2026中国算力大会开幕式上发布的《2026综合算力全景分析》指出,我国算力产业发展仍面临区域发展梯度差异明显、算力与行业场景融合不足、跨区域算力调度落地制约较多等挑战。

  网络和运力瓶颈是“东数西算”落地过程中最大的卡点之一,算力的实际可用能力需要算力、存力、运力三者同步支撑,三者不同步就无法转化为有效的服务能力。但当前跨区域集群互联带宽不足、时延抖动大,部署在西部的算力资源很难承载实时推理、工业控制、自动驾驶这类对延迟要求极高的业务。集群内部的IB高速网卡、交换机、光模块成本居高不下,多机多卡通信开销大,大模型分布式训练过程中的通信墙显著拉低了集群的实际有效算力。算力调度平台跨云、跨厂商、跨集群的标准不统一,算力网络调度长期存在“看得见、调不动”的问题。

  软件生态、异构适配与调度瓶颈是国产算力最突出的痛点。CUDA生态长期形成的壁垒,让绝大多数算子库、框架、工具链、模型权重都实现了原生适配,而国产芯片的算子优化、编译栈、调试工具还不够完善,模型迁移改造成本极高、周期很长,进一步形成了新的生态壁垒。不同品牌、不同代际的芯片混合部署时,任务切分、负载均衡、容错隔离都存在不少技术难点,很多调度平台只能完成简单的资源分配,无法感知模型、推理负载的具体特征,这些问题让异构调度很难顺畅落地。不少智算中心的整体利用率只有30%上下,训练任务间隙、推理潮汐波动、小任务碎片资源很难得到复用,出现了算力“名义规模大,有效产出低”的普遍现象。

  曙光信息产业股份有限公司高级副总裁任京暘指出,算力成本上升背后,与供应链对AI需求短期爆发准备不足有关,这直接导致了产能紧缺,而产能的重新构建与释放需要一定周期。他认为,算力价格回归正常水平或需要两三年时间,但要实现价格大幅下降和普惠,更多依靠进一步的技术创新。中科曙光在数博会上展出的曙光8000液冷计算单元,将十万卡规模的国产算力组织成为统一管理、协同运行的系统能力,减少数据读取和资源调度过程中的等待与损耗,使算力规模更有效地转化为词元吞吐、运行能效和服务能力。这款采用超智融合架构的AI超集群,既可以提供科学计算所需的高精度算力,也能提供AI模型训练推理所需的低精度智能算力,今年7月在郑州正式落成,并依托国家超算互联网接入全国一体化算网,面向科研高校、企业及个人用户提供算力服务。

  中国工程院院士、超算领域专家郑纬民在2026年11月14日举行的第三届京浙英才百人会上表示,国内算力建设规模不断扩大,国产算力的可用量及租用成本相比海外产品已经具备优势,然而用户在使用过程中依然会优先选择海外产品,其根本原因是软件生态所决定的实际使用成本。海外厂商在智能计算领域的优势不只来自芯片,更在于其长期积累的软件生态体系,大量训练、推理和编译项目在统一底座上持续演进,形成了持续繁荣的开源生态,开发者已经习惯这一生态,现有模型代码也深度依赖它。

  郑纬民同时提到,通过软件优化,国产芯片也可以达到很高的性能水平,以启元实验室开展的国产芯片与国产框架的适配测评为例,在Llama 13B模型测评中,以海外主流产品为100%基准,三个国产方案的性能成本比分别达到了180%、140%和150%,部分达到A100基线的1.4到1.8倍,代价是各厂商花了约半年时间进行深度调优,而且很多优化工作在不同芯片上是重复做的,这说明软件优化确实能充分发挥国产芯片的潜力,未来要让这些优化成果能够广泛复用。

  为了减少重复建设,共同做强国产智能计算生态,2025年11月8日,启元实验室牵头成立九源智能计算系统生态联合体,联合国内高校、科研机构和头部软硬件企业开展协作,目标是搭建一个“通用软件底座”,让开发者写一套代码,不用修改就能在不同国产芯片上跑起来,而且一开始就能跑出好效果。这套系统能兼容PyTorch、飞桨等主流开源框架,把底下不同芯片的差异都“隐藏”起来,同时研发了“九齿”编程语言,开发者只需按照平时习惯写代码,系统会自动处理复杂的并行任务,把同一份代码直接变成适合不同芯片运行的版本,目前联合体已经搭建起一个包含1000多种跨平台实现的算子库。

  当前“1+m+n”算力互联互通节点体系正进入大规模扩容建设期,已接入全国31省份578个算力资源池,覆盖昇腾、海光、飞腾全系列国产算力集群,但是异质异构的算力互联仍然面临计算效率大幅下降的技术瓶颈,不同厂商的算卡或固定单元分配颗粒度、网络延迟、算法与硬件,在技术上很难做到完全适配,未来联网调度仍需要发展国产算力芯片,用统一技术标准来提升联网效率。不少地方仍延用房地产开发的模式建设算力中心,建好机房等待企业来租赁服务器,市场经营的意识和能力没能及时跟上AI行业的形势变化,算力中心的智能服务需要转向任务交付模式,从单纯租赁硬件资源,转变为让用户直接获取任务结果,推动算力中心从单一的硬件资源供给商,转变为全生命周期服务商和系统集成商。

(编辑:吕文)