在写《怒火·重案》影评时提到了“电车难题”：一辆失去控制的电车沿着轨道疾驰而去，而你则站在一个道岔开关的旁边。你可以无动于衷，任凭电车继续前行，撞死那五个人；或者你也可以按下开关，将电车引至侧线，只撞上正在侧线上的那一个人。
很多人认为，电车难题的场景很难应用到实际中去，不存在现实意义，甚至有相当一部分人觉得讨论这种问题实属是哲学家们太闲了。确实，过去对“电车难题”大都是围绕生命意义、价值反思以及道德判断等内容来讨论，然而人工智能时代的到来，赋予了研究“电车难题”现实意义。
假如即将普及的无人驾驶汽车面对路上类似“电车难题”的突发状况时，AI该如何选择？真的可以顺其自然吗？在科技发展日新月异的今天，我们不得不去思考“电车难题”。
1、当AI面对“电车难题”如何设定选择？
AI的行为标准问题早就出现在《终结者》、《钢铁侠》、《机器人总动员》等很多科幻影视当中，我们身边接触最多的很可能是自动驾驶汽车的大量涌入。AI会如何选择，都是人类设定的，归根到底依然是人类的选择。那么，当AI面对“电车难题”，到底该如何设定选择呢？
人们在人工智能的程式设定上，似乎更应该把拯救人类而不是动物、拯救多数人牺牲少数人、优先拯救儿童等等作为“偏好设置”。但如果是人类驾驶，我们是否会更倾向于作出拯救亲人、拯救“好人”这些带有个人情感因素的选择呢？如果在少数乘客和多数路人当中，AI选择救多数路人，那么车主是否还会购买这辆汽车呢？
科幻小说三巨头之一阿西莫夫提出著名的“机器人学三大法则”：
第一，机器人不得伤害人类个体，或因不作为而使人类受到伤害；
第二，机器人必须服从人类的命令，除非违背第一法则；
第三，在不违背第一、第二法则的情况下机器人必须保护自己。
之于电车难题，无论是顺其自然还是按下开关都会伤害人类，AI始终违背了机器人学法则。怎么办？阿西莫夫给出了第零法则：“机器人必须保护人类的整体利益不受伤害，其它三条定律都是在这一前提下才能成立。”
为什么要定这条“零法则”？设想，如果有人做出违法的事情被判死刑，AI保护他就会扰乱整体的秩序，损害集体利益，显然这是不允许的，所以第零法则应该凌驾于其他法则之上。放到最初版本的电车难题上，我们也可以理解为，轨道上的一个人是人类个体，另一边的五个人算得上是一个整体，如果做选择，AI应该选择按下开关保护整体利益。
“不救一人，何以救苍生？”这句貌似富含哲理的话我认为影视使用欠妥当了。就如那个“一屋不扫，何以扫天下”的故事一样，我们应该理解为日常生活中要注重细节，但如果天下出现祸患，此刻国家需要我们冲锋陷阵，二者择其一的话就该分清楚主次了。当“一人”与“苍生”不冲突的时候，面对需要被救助的“一人”自问一句“不救一人，何以救苍生？”而不是隔岸观火；但当二者产生冲突时，毋庸置疑，集体利益应当重于个体利益。
那么还是有人会说，那一个人就该死吗？
阿西莫夫的《机器人与帝国》小说中，男主伊利亚·贝莱临终前对机器人丹尼尔说：“个体的死亡是无所谓的。一个人死后，留下的工作后人会继承，从这个意义上来说，他没有死。只要人类存在一天，人类的事业就不会结束。每一个人的工作结合成人类整体，因此就成了整体的一部分。整体存在，他的那一部分也就存在。全人类的生命——过去的、现在的和将来的，汇成了永不停息的生命长河，并将变得越来越壮丽。”
神一样的阿西莫夫，如同戴着镣铐跳舞，这是对渺小的生命个体宏大使命感的呼唤，那一个人并不是该死，而是成全了集体。
二、AI的权限与威胁
最初版本的“电车难题”条件只是一个人和五个人，但如果设置了如五人是罪犯、一人是雷锋等更多的条件，人们的选择似乎又会有所改变。面对现实当中可能更复杂的情况，是否能有第三种选择，让AI通过深度学习来理智应对这类难题呢？
随着科技的发展，人工智能的设定必然会有越来越多的条件限制，或者会逐渐衍生出各种各样的机器人学法则，或者通过结合人脸识别、录入法律法典条例、过往经验总结计算等等各类标准来筛选判定，当拥有的信息越多且信息处理速度越快，越能作出更符合集体意愿的判断。
此时，又将面临更多的问题：该赋予AI多少权限？人工智能是否会超越人类而反过来给人类社会造成危害？
“人工智能危机”已经不只存在于小说或影视当中了，看看波音连发的空难事件，就让AI权限问题上演现实版。
2018年狮航空难中，波音737MAX8安装的新版安全系统会启动自动保护功能，即使在手动模式下，自动开启失速保护的AI系统也有极高的权限，可以在特殊情况下否定飞行员的判断按照自己的程序逻辑来操作。
美国《西雅图时报》称，正是这一系统的故障让狮航客机在空中进行了12分钟的“拉锯战”——接到错误数据的系统反复将机头下压，飞行员不断重新抬起，最终导致飞机失控跌入爪哇海。
完善自动化的好处显而易见，但，“每种算法都存在漏洞”，美国范德堡大学计算机科学与计算机工程助理教授Yevgeniy Vorobeychik指出“我们生活在一个极其复杂的多维世界中，而算法只能关注其中的一小部分。”如何去设定权限，也是人工智能发展过程中值得思考的问题。
2019世界人工智能大会那场马斯克把马云打下神坛的座谈会上，马云说，“我很乐观，不觉得AI是一种威胁，因为人类很聪明。”马斯克回应道，“人通常低估人工智能的能力，实际上机器很有可能比人聪明得多。技术进步太快了，从人类历史来看，哪怕技术进步慢1000倍，人类文明也跟不上。这是事实，和乐观悲观无关。”
原腾讯副总裁吴军曾经提到，Alphago最开始学围棋时是参考了人类高手的棋谱的，后来升级版的Alphago不再使用人类对弈经验反而变得更厉害了。这真是让人沮丧，算法高明且精力充沛的AI靠自我反馈摸索出围棋技艺的极限，证明人类几千年探索的追求最优取舍之道的深邃哲思是拖后腿的东西。马云认为AI不能代替人类，人类可以做创意的事情，比如学艺术（没有贬马云的意思）。但事实证明，我们自认为只可能是人类才能做的文学、音乐、美术这些不可摹状的表达经验，也可以通过经验总结、算法分析而归结为数学问题。人类有道德标准、人性、情感、信仰，这些感性的东西是否也拖了科学发展的后腿呢？
《爱·死亡与机器人》第一季有一集酸奶统治了世界，虽脑洞大开，但却引人思考。短片讲述科学家把一种先进的DNA菌株移植到乳酸菌上，当晚这盒酸奶“进化”了，变得有意识。酸奶用破解出的复杂的经济方案解决了经济危机，在严格执行酸奶的方案下，人们生活水平进步，科技发展迅速，不同种族之间的矛盾消除，最后酸奶发射飞船迈向宇宙。很有意思，不同于别的科幻片发动种族灭绝计划和战争，酸奶只通过理性的政治、经济、科技手段来推动发展，并且构建了和酸奶一样的美好的人类命运共同体。可见，人类的“内部矛盾”是阻碍科技发展的重要原因。
刚上映的《沙丘》中，原著的沙丘宇宙设定便是人类经历过人工智能觉醒的威胁后，从此决定用自身潜能的进化来取代计算机技术。虽然这只是科幻小说，但理性的AI全面超越人类是可以预见的可能性极高的结果，警惕人工智能并不是悲观，而是未雨绸缪。
————
科技是中立的，但人是有道德标准和文明发展进程的。
也许有人会认为这类“电车难题”应该是国家、科学家去研究的问题，但恰恰这类吃瓜、满足“奶头乐”的现象正体现了人类精神层次的修为跟不上科技发展的速度，社会动荡甚至人类可能走向灭绝的最主要因素，我想正是精神文明和科技发展不匹配所造成的。
原文链接：https://www.zhihu.com/tardis/bd/art/430126668
