从国际AI伦理规范呼吁建造“负责任的智慧机器”的目标出发设想，作为未来智能社会一员的智能机器是否需要具有共情能力，才可能与人类共享生活世界的意义。考虑到只有有动机、有意图的自主行动者才能谈负有道德责任，智能机器是否要演化成为一个道德主体，演化为一个自主体的智能机器的风险何在等问题，机器情感是不可忽略的关键环节。

12月10日晚，北京大学博古睿研究中心第13期博古睿讲座在哔哩哔哩直播，主题为“AI是无心的吗？智能机器与情感道德”。讲座由博古睿中心研究专员展翼文主持，邀请到中国人民大学哲学院的刘晓力教授和朱锐教授围绕智能机器的情感与道德展开对谈。

中国人民大学哲学院教授、哲学与认知科学交叉平台首席专家刘晓力以“智能机器可能有情感和道德吗？”为题，从如下几个侧面展开了讨论：1.在什么意义上谈智能机器的情感和道德；2.从摩尔定律到莫拉维克悖论； 3.从逻辑学家到魔法师；4.可情感落地的人工道德主体具备的核心特征；5. 与智能机器人共情：如何越过恐怖谷；6. 奥莫亨德勒两难:追求道德完美的机器人必死。7.人工道德主体自主性的边界和风险。

刘晓力教授首先澄清，真正自主体（autonomous agent）的情感和道德，不同于设计者植入的工程情感和道德，或是物化的功能情感和道德。如果希望在AGI（通用人工智能）意义上讨论情感道德，就不仅仅需要模拟，而应该真正“具有”情感道德。

回顾AI发展的60余年历程，近30余年，人工智能遭遇了莫拉维克悖论，即困难问题易解，而容易问题难解的困境。为消解莫拉维克悖论，AI发展从最初依赖纯粹演绎逻辑的符号计算，到依赖联结网络的统计计算，又遭遇算法的黑箱化。目前人工智能界正在倡导自上而下的符号计算和自下而上的统计计算路线相结合。然而，尽管目前AI在大规模计算和专项智能增强的某些方面成就斐然，但AI还未摆脱“无心的机器”的命运。目前神经网络和深度学习表现出许多以人类的认知和心理学常识不能解释的现象。今天的智能机器没有与外部世界互动的自主性（autonomy），还不是一个情感落地，能辨善恶的道德主体。（编者注：详见刘晓力教授在睿n发布的文章《无心的机器与人的最大不同是没有自主性和自我觉知》）

为回应这一困境，刘晓力教授提出，机器情感需要实现三个维度的落地：①“符号语义落地 Symbol Grounding”，即理解自然语言的语义，②“物理落地 Physical Grounding”，即涉身性理解物理世界的意义，③“情感落地 Emotional Grounding”，即理解人类行为的社会意义。

继而，她引入 “情感触发Emotional Trigger”、“信用赋能Credit Assignment”和“实践推理Practical Reasoning”三个维度，探讨可情感落地的人工道德主体（AMA）应具备的核心特征：

1.AMA是通过情感触发设定自我目标采取行动的一个认知主体。

机器首先要有感知能力，有专注道德情境的敏感性，有处理环境信息和人类行为信息的敏感。在时间空间资源有限的不确定情境下具有转换认知模式的应激能力。

2. AMA是一个具有信用赋值能力的认知主体。

这意味它是一个能通过最少样本的学习获得更多学习成果，不仅可以找到具体问题的方法，还有能力寻找到解决问题的一般方法、寻求普遍模式的认知主体。

3. AMA是一个有实践推理能力的认知主体。

这意味着它是一个能依据环境资源和自身的表征形成信念，采取有意图行动的能动者。这也意味着，它具备能自主与世界交互，能够建立自我目标，会反思评价自我行为，有反事实推理能力的认知主体。

谈及人工智能情感的边界和风险，刘晓力教授指出，情感落地的实现中共情至关重要。人类会以自己的外形为模版建造具有亲和力能产生共情的机器人。然而，如果随着智能水平增高，机器人的仿真度单调递增，达到一定程度会突然令人产生缺少亲和力的恐惧感，即产生“恐怖谷效应”。另外，讨论人工道德主体的风险无法避开“奥莫亨德罗（S.Omohundro）悖论”：即一旦机器具有自主性，产生自我保护意识，就会意识到第一要务是自身的生存。我们可以设想一种以人类标准的“道德至上”的智能机器人，算法黑箱预置了一些最高级的道德命令以防灾难发生。可是，由于人类有多种不相容的偏好，道德规则本身包含无限多偏好。如果为机器自上而下地内置人类的所有道德规则，规则间就会相互冲突，使机器无所适从。最后，由于计算复杂性过高，一个道德完美主义的机器人将经不起无限多种选择的困境，会选择自杀——死机。

刘晓力教授认为，目前机器人虽然是一个行动者，但不是真正的行动主体，其所产生的行为的道德责任完全应由人类主体，即设计者、制造者及机器操作者承担。一旦AI建构出作为自主体的AMA，它应该是能够担负道德责任的行动主体。在技术条件不成熟时，未来社会的道德主体应是人机融合的延展认知系统。

最后，刘晓力教授启发人们反思，机器与人类显然遵循不同的自我演化道路，硅基生命和碳基生命具有不同的演化特征。如果从人类视角出发谈论机器情感道德不免有人类中心主义之嫌，我们应如何摆脱人类中心魔咒？

接续这一问题，中国人民大学哲学院杰出学者特聘教授、美国德州州立大学客座教授朱锐以“搜索与知止：谈拥有，理解与不确定性”为题，借助古希腊悲剧《俄狄浦斯王》的框架探讨知识与不确定性的关系。

朱锐教授指出，今天围绕人工智能的讨论，和古希腊悲剧中的人神关系具有一定可比性。在古希腊文化中，神和人的距离是纯技术性的，而不是实质性的，某种程度上人可以借助技术变成神。知识也是技术的一种表现，《俄狄浦斯王》反思的正是知识对人的意义，即人是否可以靠追求知识超越自己的命运，与神平齐甚至超越神的问题。而这恰巧对应着今天人与机器的关系。

在古希腊人眼中，人与神的分别在于人有死而神不死；神知道未来而人不知道；同时，人与神处于知识阶梯的不同位置，人可以通过知识的增长到达天国，和神在一起。而《俄狄浦斯王》深刻揭示了“知识”的两种含义，一种是占有，另一种是理解。不同于被动的占有，理解意味着积极的知识，即能举一反三地整合知识，具备相关性抽象与类比推理、单例学习的能力。正如刘晓力教授此前介绍的，知识的两种含义对应着机器与人的分别。

在索福克勒斯的安排中，俄狄浦斯是一个发现者的角色，他运用理性寻找线索，直到最后发现凶手就是自己。戏剧张力就来自于认知的悬念，俄狄浦斯越确信自己的判断，他理性的缺失就越显得明显。所有人都希望俄狄浦斯能知止，停止继续搜寻，但他对自己判断的确信让他一步步走向深渊。俄狄浦斯代表着一种不知自我限制的理性的错乱。休谟曾提出，理性的态度推到极致会导向怀疑论，而怀疑论者如果要正常生活，必须在某种意义上限制自我的理性，康德同样认为理性应该认识到自己的界限

剧中，俄狄浦斯被一种不可控的求知和搜索欲（ichneuo)一步步引向自我毁灭，这代表着理性的僭越(Hubris)：（1）知识没有止境，所有问题都是理性的合理审问对象；（2）知甚于不知，确定甚于不确定；（3）人可以靠知识战胜命运和神；（4）没有什么东西是不可知的，只要去锲而不舍地去搜索。

索福克勒斯的观点与苏格拉底对照，反映出公元前五世纪古希腊在启蒙和反启蒙之间的挣扎。苏格拉底认为知识可以解放人类，让人变成神；而索福克勒斯更为保守，认为有些东西不应该用知识追根问底，知识具有杀父情节。

如今，在思考机器与人的关系时，索福克勒斯的担忧仍未消失。无限制的知识可能会摧毁人类自身，人用知识制造出的机器人，可能反过来消灭人类。与人神关系相似，机器与人是一种技术性的分离，表现为机器在知识上的缺乏，如机器无法形成相关性抽象和类比推理。除此之外，机器与人之间更关键的差别在于不确定性。现代人工智能靠PPL概率编程纠正了以前的确定性假设，却“仍然低估了目标系统中的不确定性”。认为目标具有确定性的假设会导致计算能力强大的机器不择手段地实现目标，甚至拒绝关机，僭越性地排除人类干涉。当机器不“懂”自己的搜索和目标，不懂人类目的之不确定性，其潜在危险也正是俄狄浦斯式的理性错乱。

因此，设立“有益的人工智能”至少在Stuart Russell看来，取决于如何让人工智能变得谦卑，而不确定性植入是培养“机器谦卑”，让机器不排斥人类干涉的关键。同时，根据斯多葛学派，情感的本质是理性的不确定性，那么以不确定性来实现机器理性的自我限制，实际上也是实现机器情感的一种手段。

面对这些隐忧，朱锐教授提出，我们应该给机器设定栅栏：不要造拟人机器人；在机器不理解自己的前提下，搜索和目标设置须植入不确定性，保证机器可以关机；而在人机互动方面，要谨慎防止机器模仿人，因为模仿可能会使机器最终实现自主和自我理解。

两位教授的精彩讲座结束后，在线观众踊跃提问。在与听众互动的50分钟里，刘晓力、朱锐就谈论机器情感的意义、机器是否必须模仿人、AI是否应该实现自主、理性和共情之间的张力、如何应对排除不确定性的超级计算机、对认知增强技术的看法等问题展开对谈，一一回应观众所提的问题。

实习生  蓝天蒙 /写稿