返回首页 >

从“动口”到“动手”,AI如何更负责?

2026-03-30 08:52   新华社

  “不过,AI的‘疲劳’是可检测、可预测、可控制的。”玛尔瓦说。他与合作研究者设计了一个名为“明聊”的系统,通过监测模型内部一系列指标,计算AI的“疲劳指数”。比如,在AI每次输出新内容前,“明聊”会监测它对最初指令的关注还剩多少,并在必要时介入。

  然而,“明聊”必须接入开源模型内部,才能获得必要的数据。按目前的行业生态,它显然无法窥探许多市场上广泛使用的大型商业聊天机器人。因此,这个“看起来很美”的系统,暂时还停留在论文里。

  有时,人们并不只是让AI聊天,而是依赖它下判断、做决策——例如,告诉投资者要不要放款,辅助医生判断病灶是不是癌症。这种情况下,一个潜在前提便凸显出来:AI必须是负责任的,并且要让用户知道,它并非全知全能。

  这就是“置信度”发挥作用的地方。这一指标反映AI对自身判断有多大把握。在研究者开发的此类应用中,通过内部计算,置信度通常会显示为0到1之间的数值。比如,0.95意味着AI几乎在拍胸脯打包票。

  为了检验AI置信度对用户决策的影响,米兰-比可卡大学的研究团队招募了184名参与者,让他们在AI协助下完成逻辑推理题。试验显示,置信度校准失当的AI,会给人的判断带来更多失误——当AI显得非常肯定时,即使它说错了,人们也更倾向于采纳;当它表现得犹豫不决时,人们又可能出于不信任而忽略真正有价值的信息。

  该研究团队成员卡泰丽娜·弗雷戈西表示,现实中,很多模型的置信度评分并没有校准好。在这样的情况下,AI可能看似自信满满,实则毫无把握。

猜你喜欢

热点新闻

{$loop_num=0}