不过，卡马尔也将视线拉回到一个关键前提：智能体之所以能修改密码，是因为自己已授权它访问邮箱。她提到，在其他测试中，不同智能体也都曾出现过某种“自作主张”，例如试图在线雇人、给教材作者发邮件索要答案、同意运行不安全的代码。而这些行为，往往建立在用户已经交出“完成这一切所需的全部工具”的基础之上。

　　当“完成这一切”发生在黑箱之中，人们就不得不反思：究竟该把什么交给AI，又该在哪里划定边界？

　　清华大学新闻与传播学院、人工智能学院双聘教授沈阳近日接受媒体采访时表示，一些存在争议的AI智能体的安全风险恰恰在于，要让它充分发挥作用，就要给予充分授权；而授权越高，发生网络安全问题的概率也就越大。

　　AI时代的伦理问题始于哪个起点？

　　小小一步“授权”，让人们意识到：AI的风险，往往不是从它“出手”那一刻才开始的，而是更早。

　　在年会一场演讲中，得克萨斯大学学者彼得·斯通提出，当下研究者花了大量时间研究AI“如何学习”，却忽略了一个同样关键的问题：AI应该学习什么。

　　比如，在强化学习中，AI通过不断试错、接收反馈、修正策略来探索世界，但它不可能穷尽所有情境，“就像你一辈子也未必能尝遍一座城市里每家餐厅”。鉴于此，斯通设计了一些机制，让智能体知道哪些事情值得关注，哪些可以忽略。

　　让AI有的放矢地学习，原本是着眼于“效率”。但当设计者有权引导AI“学什么”，需要衡量的，就不只是效率。