在她看来，相比其他更复杂的大型生产场景，软件行业是观察AI落地的绝佳窗口，就像“矿井里的金丝雀”——过去，矿工带着金丝雀下井，如果空气不安全，金丝雀会死去，矿工便得到警报。

　　卡马尔的确感受到了某种危险。一次，她和同事测试一个由多个智能体协作完成任务的系统，让它去玩《纽约时报》网站上的填字游戏。智能体顺利打开谷歌、找到网站、点击进入，随后却卡住了——那个页面并不免费开放，想要继续访问，必须登录卡马尔的付费订阅账户。

　　智能体并不知道她的账户密码。为了完成任务，它点击了“忘记密码”，接着通过访问电脑上已登录的卡马尔邮箱，获取了《纽约时报》发来的重置密码邮件——它准备通过修改密码来登录网站，去完成那个“玩游戏”的任务。

　　“这些智能体背后有推理模型支持，为了完成任务，它们相当锲而不舍。一个方法行不通，就会尝试新的，甚至是创造性的方法。”卡马尔说。

　　最终，研究团队给这个智能体多设置了一道墙：进行不可逆操作前，必须征求用户同意。比如替用户订外卖，下单前，需要用户明确点击“接受”或“拒绝”。

　　“这些强大的智能体，内部机制尚不为人所掌握。”年会上，卡马尔提醒同行，应对这种未知保持警觉，并正视由此产生的责任。“我们的研究重心，必须从让智能体完全自主，转向人机协作。如果不能建立人与智能体之间透明的互动层，就几乎无法阻止它们在现实里作出冒险甚至危险的行为。”她说。