返回首页 >

AI,开始偷懒了?

2026-06-03 14:25   中新经纬

  韩子哲解释,面对日益上行的Token成本压力,部分厂商引入了动态推理预算、缓存优化及路由降级等技术手段,优先保障系统的整体吞吐量与响应速度,以在时延与成本之间寻求平衡。这种通过缩减单次推理深度来控制运营成本的隐性调整,实际上是以牺牲模型在复杂任务上的表现,换取规模化服务的可持续性,最终直观体现为用户体验的明显下降。

  不过,也有业内人士提出不同看法。一家模型企业的相关负责人向中新经纬表示,模型本身的能力从发布时就已设定,不会因使用一段时间而自动降级。对于用户体感变差的现象,他归结为四方面原因。

  一是长程任务正成为主流,此前习惯分步走的用户,受上下文环境影响,容易体验不佳;二是模型上下文越来越长,超长任务要求调用小模型辅助,不同版本间的协作容易出现偏差;三是模型与开发平台(即“脚手架”)的磨合不够好,后者当前更新太快;四是用户在不同平台之间切换使用模型,经过中转环节,体验自然不如原生平台流畅。

  极佳视界联合创始人、首席科学家朱政也指出,当前模型企业的算力已难以支撑海量用户的复杂任务需求。“以前大家主要用大模型进行简单聊天,消耗算力较少。但现在,AI被当作一个可以干活的工具,消耗的Token是海量的。”

  朱政表示,用户规模的暴涨,导致算力资源空前紧张。他向中新经纬透露,其公司租用算力卡的等待时间,已从去年的一两天延长到如今排一两周都不一定有资源。

猜你喜欢

热点新闻

{$loop_num=0}