蔚来事件引发的思考：人工智能不应是“无人”智能

{image=1}

必须通过制度的约束、标准的确立，审慎决定不同领域、不同场景下的智能化程度，并需保证在一些事关人的生命财产安全、重大公共利益的智能化系统中，是由人来掌握最终的决定权。

文 | 《财经》E法特约评论员 陈千凌

一起致命车祸，再度把自动驾驶汽车推上风口浪尖。

8月14日，一篇题为《我们的“萌剑客”走了》的讣告，引发了舆论关注。讣告中称，“上善若水投资管理公司创始人、意统天下餐饮管理公司创始人、美一好品牌管理公司创始人林文钦先生（昵称“萌剑客”），驾驶蔚来ES8汽车启用自动驾驶功能（NOP领航状态）后，在沈海高速涵江段发生交通事故，不幸逝世，终年31岁”。

{image=2}

8月16日晚间，蔚来官方微博发布声明，证实了林文钦驾驶蔚来汽车与正在作业的工程车相撞身亡。声明称，8月16日下午，蔚来总部技术团队到达莆田，配合警方及司法鉴定机关进行下一步数据读取作业。

{image=3}

目前，这起事故的调查结果仍在进行中。如果最终调查证实，事故发生时，车辆确实处于自动驶驾功能开启状态，将是自动驾驶引发惨剧的最新案例。

在此之前的2021年 1 月，一台蔚来 ES8 在高速公路上开启辅助驾驶功能时，先后撞上了一名男子和一台停靠在快车道上的五菱宏光。2020 年 6 月，一辆特斯拉 Model 3在台湾的高速公路上径直撞上一辆侧翻的白色货车，事发时特斯拉处于 Autopilot 自动驾驶状态。再往前追溯，中国首例“自动驾驶”致死车祸发生在2016 年1月，在京港澳高速河北邯郸段，一辆特斯拉开启 Autopilot 自动驾驶模式，直接撞上正在作业的道路清扫车，特斯拉司机因此身亡。

此类事件的频频发生，恰恰为当下智能化程度不断提升、自动化产品层出不穷的智能社会敲响了警钟。

01

技术失灵背后，是人的失范

其实，人工智能并非人们想象的那么智能。

以自动驾驶为例，虽然有大量高科技硬件产品、先进算法加持，但却始终无法做到像人眼一样识别判断物体。目前自动驾驶的传感器主要是摄像头、激光雷达、毫米波雷达，三者各有特点，但均会不同程度地受到外界光线、雨雾风沙、遮挡，甚至颜色等因素的干扰，从而出现出错误识别或者是无法识别物体的情况。

此外，算法作为人工智能的中枢，其平衡拿捏也是个难题，面对外界的海量数据，算法如何识别出危险信号？识别得少了，可能会酿成未及时刹车，发生碰撞的惨剧；识别得多了，在高速公路上频频自动刹车也相当危险。

事实上，现阶段的自动驾驶都不是严格意义上的“自动”驾驶，而是需要驾驶员投注精力的自动辅助驾驶。业内有个著名的“Corner case”理论，也就是说或许技术上已经解决了90%的问题，但剩下的10%的问题却可能要花费更多的精力，且并不能保证一定解决。

而在技术并未完全成熟的情况下，许多企业却因为急于扩大规模、冲刺销量而进行夸大宣传。比如某国内知名厂商就宣传过，开启智能驾驶功能后，驾驶员可以在车上自拍甚至喝咖啡、吃东西（相关内容现已删除）。

随着“互联网+”深入各个行业，汽车厂商们也效仿起“小步快跑、快速迭代”的互联网思维，不断推出“MVP”（最小可行性产品），将未完全成熟的产品交付给用户，再通过后续不断的更新迭代来优化和完善。

而在企业及媒体的宣传误导下，部分消费者出于对技术的盲目信赖，开始挑战辅助驾驶的极限场景，在国内外的网络视频中，时常会看到一些车主行驶过程中双手脱离方向盘，甚至在270度弯道上以60迈速度撒手，或者在车辆高速行驶过程中躺在后排，将驾驶权和自己的生命安全完全交给自动驾驶系统。

但问题在于，手机出现故障，大不了换一个，但汽车要是出现问题，很可能会攸关生死。

不过为了规避责任，企业会通过种种手段进行安全备注，来表示自己已经履行了风险告知和提醒注意义务。

比如一些企业在大肆宣传“自动”“领航”等卖点的同时，也会在产品说明书里不起眼之处标注，“领航辅助版本为公开测试版本”“功能尚处于持续优化阶段：驾驶员双手不能离开方向盘、视线不能离开行驶道路”等等。

因此，一旦自动驾驶引发事故，驾驶员将是主要风险承担者，企业反而能撇清责任。比如，在前面提到的中国首例“自动驾驶”致死车祸中，经交警认定，驾驶特斯拉的司机负事故的主要责任。

技术频频失灵背后，恰恰暴露的是人性弱点。既有企业急于扩张的利益驱使，也因为消费者求鲜求奇、忽视风险防范，甚至是整个社会宣传导向偏移，只盯着“高科技”的魅力却忽视了“高风险”的存在。

02

在人工智能中，找回人的存在

“这是最好的时代，也是最坏的时代。”用英国作家狄更斯这句话来形容当下的智能社会再恰当不过。

一方面，人工智能技术循摩尔定律飞速迭代更新，与日俱增的技术水平与实用优势让人类的生活质量得到空前提高。以自动驾驶汽车、工业机器人、人工智能辅助审判系统、外科手术机器人等为代表的一系列技成果，极大地解放了劳动生产力，并提升了人类的活动能级。

另一方面，层出不穷的恶性事件，却让人类逐渐成为技术风险外化和弥散的直接受害者。

除了自动驾驶，各自动化领域的机器伤人事件也是屡屡发生。

早在1978年，日本广岛一家工厂的切割机器人在切钢板时，突然发生异常，将一名值班工人当作钢板操作致其死亡，这是世界上第一宗机器人杀人事件；2002年，美国佛罗里达州一名患者在接受达芬奇（Da Vinci）手术机器人进行肾脏手术的过程中因主动脉被意外割破而死亡；2005年一年之内，英国发生的机器人伤人事故就高达77起；2000年至2013年间，美国的外科手术机器人至少造成了1391起致害事件，并导致144人死亡．．．．．．．

科技的进步需要付出与投入，但这个代价不应是一个个鲜活的生命。

人们可能会问，科技前进的脚步不会停止，那么该如何划定红线，来保障技术的底线安全？

我认为，一方面，要警惕人工智能的“无人化”风险。

当人类发现技术可以解放双手，便会愈发着迷其中，深陷技术窠臼反而落入更大的陷阱。如广泛使用人脸识别设备，而忽视了公共安全的人力投入；如迷信智能诊疗，忽视了医生的综合建议；再如过度依赖审判系统，反而降低了法官判断的权重。

事实上，人工智能的应用绝不意味着“无人化”。我们不能一边广泛宣传警惕“人工智能取代人类”的风险，又一边放心地将自己的生命财产彻底交给人工智能。必须通过制度的约束、标准的确立，审慎决定不同领域、不同场景下的智能化程度，并需保证在一些事关人的生命财产安全、重大公共利益的智能化系统中，是由人来掌握最终的决定权。

另一方面，明确人工智能中“人”的责任。

随着自动化技术的不断提升、机器侵权事件屡屡发生，究竟要不要赋予机器以自主的法律人格，成为了业内此前讨论的一个热点。2017年2月，欧盟通过的《机器人技术民事法律规则》提出，要赋予机器人“电子人”法律地位。受此影响，国内也陆续有学者提出要赋予人工智能法律人格。

但事实上，赋予自动驾驶汽车等人工智能法律人格既不可行，也殊无必要，更是有碍于风险防范与责任承担。因此，必须关注人工智能的开发者、使用者、运营者等利益相关方，压实其主体责任。

首先要确保应用规范化，对于自动驾驶等高风险应用场景，不能未解决软硬件缺陷之后就交付上线，等待日后应用中再优化升级。

其次要确保宣传规范化，必须在事前就向消费者尽到明确告知义务，包括但不限于系统功能及性能限制、使用者责任、人机交互设备指示信息、功能激活及退出方法和条件等信息。

就自动驾驶而言，各国已经开始纷纷行动，立法立规。2013年，美国国家公路交通安全委员会（NHTSA）发布了指导性文件《关于自动驾驶汽车法规的意见》，提出了对各州自动驾驶汽车立法的建议。2020年，联合国欧洲经济委员会（UNECE）发布了《 ALKS 车道自动保持系统条例》，要求汽车制造商必须满足该法规中明确的性能要求，才能销售配备 ALKS 的车辆，这是全球第一部针对L3 级自动驾驶量产车型的国际法规。

近期，中国的自动驾驶规范也有了新进展，工信部印发了《关于加强智能网联汽车生产企业及产品准入管理的意见》，从加强数据和网络安全管理、规范软件在线升级、加强产品管理、保障措施等方面提出11项具体规定，要求加强安全管理，推动智能网联汽车产业高质量发展。制度的建立健全，在智能网联汽车行业迅速发展壮大，但又乱象频出的当下，无疑具有重要意义。

无论如何，即使是99%的安全性，而那剩余的1%具体到某一个人身上，都将会是100%的生命大事。针对当前自动化系统高度泛化的情况，必须要做到促进发展与保障安全同步规划、同步建设，同时要明确，技术是为人类更好服务而非取代人类的原则底线。

责任编辑：何中夫