新加坡第40届人工智能促进协会年会聚焦AI“靠谱”议题 多团队发布相关研究

越来越多人意识到，人工智能聊天机器人并不总是可靠，可能答非所问、前后矛盾，甚至捏造不存在的信息。在1月下旬于新加坡举行的第40届人工智能促进协会年会上，如何让人工智能更“靠谱”、更“负责”，成为这场国际人工智能学术会议的重要议题之一。

在研究者眼中，人工智能的缺陷对应着更细分的问题。来自意大利的研究团队在本届年会上提醒，合理计算人工智能的置信度值非常重要。在名为‘盲目自信的陷阱’的研究中，参与者在人工智能协助下完成逻辑推理题，结果显示，当人工智能表现得非常自信时，参与者更容易采纳它的建议，但这些建议很可能是错的；若人工智能犹豫不决，用户却可能拒绝正确的建议。意大利米兰-比可卡大学研究成员卡泰丽娜·弗雷戈西表示：“这两种情况都反映了现实问题：很多人工智能系统的置信度值没有被正确校准，从而向使用者传递了误导性的信号。”

置信度值问题并非人工智能可靠与否的唯一体现。另一项来自印度和美国团队的研究，从“认知疲劳”角度观察人工智能如何在不知不觉中变得不可靠。美国南卡罗来纳大学人工智能研究所研究成员里朱·玛尔瓦提到，随着人类与聊天机器人对话时间的增加，模型会开始“走神”，出现偏离原始指令、重复输出内容、甚至以自信口吻生成不可靠信息的现象。研究团队将其称为“认知疲劳”，且并非偶发，属于系统性效应。“认知疲劳是可以被发现、预测并干预的。”玛尔瓦说。该团队设计了一套系统，通过追踪注意力衰减等三个关键指标，将人工智能何时开始“疲劳”可视化，并提供实时干预手段，比如当人工智能偏离指令时，人类可重新输入原始指令，引导对话回归正轨。

大会现场，从单一聊天机器人到自主完成任务的智能体，再到多智能体协作网络，研究者们不只关注人工智能的能力与效率，也反复探讨它们的边界和可控性。不少参会者认为，完全放手让智能体自主完成任务，远没有想象中简单。美国微软人工智能前沿实验室主任埃杰·卡马尔表示：“目前，这些智能体的行动边界非常宽，它们能写代码，可以在计算机上做我们能做的任何事情……所以，我们应该把研发重点转向人类与智能体的协作，建立智能体与人类之间的透明交互，这具有现实紧迫性。”

微软首席科学官埃里克·霍维茨认为，当前种种不确定性，与人类尚未完全理解人工智能内部运作机制密切相关。在23日的历任主席对谈会上，他说：“今天的人工智能表现令人惊讶。我说‘惊讶’，是因为我们仍无法给出令人满意的科学解释：它们为何如此高效？如何失败？在哪些方面脆弱？对人工智能内部机制和原理的系统性科学探索，现在变得非常紧迫。我们必须打开这个‘黑箱’。”

市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。