今天我们被算法“控制”了吗？

原标题：今天我们被算法“控制”了吗？

数字经济时代，算法究竟应该是怎样的存在？近日，一篇《外卖骑手，困在系统里》的文章刷屏，算法的“逼迫”，导致外卖员成为了交警部门数据背后的高危职业。饿了么随后宣布将发布“为骑手多等5/10分钟”的功能，这样的危机公关不可不谓经典，但真正的问题不在消费者愿不愿意多等这五、十分钟，而是机器算法在促进生产力的发展和财富累积的同时，也存在着明显的伦理、法律和制度性问题。

我们推荐刘志毅的这篇深度文章，能够帮助人们更好的理解算法背后的利益和伦理博弈。

作者：刘志毅

导读

壹 ||虽然智能时代的算法衍生出来的数字化世界会给现实的经济和社会带来巨大的福利和便利，但是科技崛起之后也需要必要的监管。

贰 ||人们之所以要承担这样的责任，是因为每个个体的行为都促成了这样不正义的结果。

叁 || 正因为如此深度学习为代表的人工智能算法才会引发研究者的疑虑，因为这个过程中人类的参与程度会越来越低，因此人们很难对算法产生的负面结果的道德责任负责。

在国内众多涉及数据伦理以及AI伦理的议题之中，数据的边界、垄断和法律问题屡屡被人提起，而算法相关的研究则少之又少，而事实上在全球的前沿人工智能的跨学科研究中，越来越多的学者都在关注算法的作用，讨论代码与法律之间的关系，并开始担忧算法会不会动摇关于现有人类社会法律的基本框架与概念，尤其是在公共领域中的使用的伦理和风险问题。

与此同时，伴随着区块链等技术的兴起，科技乌托邦的理念又再度兴起，来自于硅谷和中关村的科技精英们又开始讨论“代码让世界更加美好”的概念。

随着人工智能的发展，我们认为：虽然智能时代的算法衍生出来的数字化世界会给现实的经济和社会带来巨大的福利和便利，但是科技崛起之后也需要必要的监管。机器算法在促进生产力的发展和财富累积的同时，也存在着明显的伦理、法律和制度性问题，本文就是基于“算法规制（Algorithm regulation）”的概念来理解算法的特点、重要性以及带来所带来的道德与伦理风险，弄清楚算法决策与算法规制的相关伦理议题的思考。

{image=1}

算法规制

人们之所以要承担这样的责任，是因为每个个体的行为都促成了这样不正义的结果

首先，要理解算法规制（Algorithm regulation）的定义范畴，就首先要理解算法的定义，按照塔尔顿．吉莱斯皮（Tarleton Gillespie）的概念，算法广义上可以理解为“是基于特定的计算将输入数据转换为所需的输出的编码程序”。这个概念里强调的是数据输入输出可以由人类或者机器来执行，同时算法可以由人创造或者机器橙黄早，或者机器运行过程中自我修改而生成。而算法规制这一概念广为人知是由硅谷企业家奥莱利（O’Reilly）在2013年提出的，后来的学者们也在不断的完善这个概念。简而言之，算法规制是一种以算法决策为手段的规制治理体系，而算法决策指的是通过算法生成指示系统来做决策，可以理解为算法治理的工具，而算法治理，则是数字化治理的重要手段和方式，也是建立数字化治理体系的基础措施。

按照英国伯明翰大学法学院和计算机学院的教授凯伦·杨（Karen Yeung）的定义，算法规制是指通过算法来规制某个领域的决策系统，通过从受规制环境相关的动态组件实时和持续的产生和搜集数据，通过知识的计算生成以及智能化的应用，实现三个方面的目标：第一，管控特定应用的风险；第二，改变用户群体的行为；第三，实现自动优化的操作，来推动系统预定目标的形成。

事实上，算法规制在数字经济领域无处不在，例如我们看到类似今日头条这样的新闻应用会通过推荐算法来监管用户的发布和浏览行为，或者抖音这样的短视频平台会通过算法决策系统来实现内容的发布和流量的管理。我们可以认为算法规制体现了一种风险管理的技术机制，这种机制的覆盖范畴从使用应用的个体到某个平台的所有群体，其作用就是在设定特定目标下利用算法系统指导和影响这些群体。

可以看到，算法规制的模式是一种基于“设计”思想的控制模式，从治理层面来说，算法规制可以看作一种协调数字生态中特定活动的社会秩序的输出形式。正因为如此，算法规制在学术界被认为是一种双刃剑，一方面算法规制能够做出精准的行为预测，可以为管理者提供非常好的循环干预机制：对于公共行为主体来说，可以通过对大数据的应用来解决社会治理问题，对于私人主体来说可以借助数据来提供个性化和定制化的服务；另一方面，算法规制存在着诸如黑箱问题、利益和风险不对称等问题，而且由于算法技术发展的超前性，新科技的创造者具备不对称的信息和技术优势，能够按照自身利益的需求来塑造在平台上的算法规制逻辑和社会系统，这带来了监管的不确定性。这里需要提到的是重要的女性政治理论家艾丽斯．M．扬的结构不正义理论，她认为社会进程使得人们系统性的受到被支配或者被剥夺其发展和行使才能的威胁，同时，这些社会进程使得另一群人能够支配他人或者拥有广泛你的机会来发展和行使他们的权力。这个理论为我们提供了理解算法规制的重要视角，就是我们为了避免这样的结构性不正义的出现，我们需要转向社会关联责任模式。人们之所以要承担这样的责任，是因为每个个体的行为都促成了这样不正义的结果。换言之，我们并不是追溯某个个体或者团体的回顾性责任，而是通过主动减少、修正以及预防的方式来承担这样的前瞻性责任。由于这种责任是通过社会结构和进程存在于人们的关联之中，它就具备了共享性的特质，人们通过集体行为承担了社会责任。通过这样的方式在算法规制中去体现，可以让我们能够对算法规制的意义和价值得到更深刻的思考。

{image=2}

科技的本质

正因为如此深度学习为代表的人工智能算法才会引发研究者的疑虑，因为这个过程中人类的参与程度会越来越低，因此人们很难对算法产生的负面结果的道德责任负责

事实上，我个人认为这其中涉及了如何理解科技的本质，如果仅仅从创新视角去理解的话，则很容易关注到科技变革带来的规制行为的滞后性，从而对科技的发展产生疑虑。如果我们从社会属性来理解技术则打开了新的视角。科技的发展（包括算法的发展）不是无水之源、无根之木，它是社会发展过程中产生的技术组合，因此科技的演化就会和社会结构以及相应的监管系统产生耦合，从而适应社会的发展。从某个角度来说，过去数十年中国的数字经济发展有赖于数字化技术与中国的创新社会环境之间的“共生关系”，创新的技术与社会的环境相互影响并动态交互，伴随着时间推移和演化实现了共同发展。换言之，算法规制是一种算法监管的技术，也是一种社会现象，构建了一套“共生系统”，从而实现了复杂的社会与技术之间的管理。这种管理机制拥有以下特点：

第一，算法规制是通过高速的分布式信息处理机制进行机器学习实现的，这其中比较典型的包括分类系统、推荐系统等等，通过这类人工智能的算法可以实现大规模的社会治理机制的落地，所面向的数据集也往往是大型非结构化数据集，且在这个过程中算法会持续的更迭从而带来不确定的效果。由于这样的机制非常依赖数据，因此诸如GDPR这样的数据治理和保护的机制就会出现，成为决定算法规制等机制发展的重要文件；

第二，算法规制通过大型自动化技术系统实现落地，由于其提供的复杂算法系统正在渗入社会生活的各个方面，因此关于它的研究往往涉及到跨学科的研究工作。无论是经济学界所提到的“监视资本主义”还是法律界提到的“机器人自主权”的问题，或者是我们所关心的机器伦理的问题等，都体现了这一问题的复杂性。目前学术界和产业界虽然对算法的规制和管理的重要性达成了共识，但是在具体应对不同问题上则还是众说纷纭，这对现有的数字经济的治理体制带来的非常大的挑战；

第三，算法规制需要相应的风险控制机制来应对，以避免产生类似算法系统偏见即算法歧视等问题，不同的偏见和算法歧视已经成为数字化政策领域研究的热点问题。无论是在算法决策过程中的算法决策机制存在的偏见，还是其训练的数据集本身所存在的偏见，都会带来机制的不公和对个体的损害。除此之外，算法的模拟行为也需要控制一定的限度，如果过度使用算法来仿照人类的行为模式和外观，就会引发欺骗或者其他的社会道德问题。

基于以上的思考，我们可以将算法规制理解为一种风险管理系统，这个系统是对于算法决策过程中可能会引发的技术与社会的嵌入和耦合后的风险的管理。那么，我们在讨论算法对决策影响时，真正关注的是什么呢？从法学角度来说，我们可以将算法决策系统对于规制行为的影响理解为三个层面的问题：

第一，对于决策程序自身的风险担忧，这类担忧主要集中于对决策责任对象的担忧。由于机器学习的算法过程中其生成的逻辑基础有部分是人类完全无法实施有意义的监督和干预的，且机器能够在短时间内处理成千上万参数的变化，因此人类在算法运行过程中丧失了信息的优势，且对于结果的不可预料性也无法进行控制，因此如何在决策过程中加入更多的人类监管因素非常重要，我们所讨论的“负责任的人工智能”就是基于这个视角去讨论的。如果机器无法承担责任，而与此同时算法的决策剥夺了受影响力个体表达和反驳的权利，就会剥夺了某些个体的“陈情权”等基本权利，导致不正义的出现。欧盟提出科技的治理必须是一项可以执行的权利，其基础出发点就在于必须在这个过程中体现公平和正义的可执行性，而不是算法自动化的集成。

第二，对于决策程序所导致结果的风险担忧，即对算法系统的安全可靠性的质疑。比如无人驾驶等算法决策系统带来的巨大风险，以及内容推荐系统带来的偏误。我们所熟知的剑桥分析公司与Facebook的丑闻体现了媒体内容的偏差是如何左右民主选举的进程的。除此之外，算法决策所产生的不公和歧视也可以理解为结果的偏见和不准确，也是引发人们对算法决策系统担忧的重要体现。

第三，对算法决策系统带来的个性化服务的风险担忧，国外的电商平台亚马逊推出的商品算法的推荐引擎以及社交平台Facebook所使用的动态消息机制都属于这类个性化服务的代表。这样的服务通常是免费的，通过对大量用户行为信息的持续追踪以后，对其中的信息进行分类和提炼，为用户打上不同的标签，从而实现所谓“个性化服务”。这类个性化服务通常意义上并非真实的用户兴趣和爱好，而是基于算法所推断出来的兴趣和爱好。换句话说，它们优化的是商业系统的商业利益的结果，而不是用户自身的兴趣，没有去保障用户受到误导以后的行为偏差，也很难保障用户的长期利益。

最后我们再补充下关于算法偏见的分析，在算法规制的所有对象中，算法的偏见是最具备典型性的，实际上这个概念从上世纪90年代就有了相关的讨论。在这个过程中，我们主要关注在没有人类介入的情况下处理和分析输入数据的机器，以及机器通过数据处理和分析得到的正面和负面的结构，换句话说算法偏见关注的是非人类行为在应用算法时可能存在的偏见，正因为如此深度学习为代表的人工智能算法才会引发研究者的疑虑，因为这个过程中人类的参与程度会越来越低，因此人们很难对算法产生的负面结果的道德责任负责。当然，人工智能系统及算法并不能全然独立于人类，因为他们的运算背后必须有人的参与和输入，抽离于特定场景的算法毫无意义。由于人的道德是主观性的，关注的是个人的道德责任，而算法偏见则是客观性的，存在一定的道德缺口，这是为什么这类问题难解的原因。关于这类问题的解决，会涉及到诸如“分布式责任”等新的范式的研究，限于篇幅我们在这不做详细阐述，这里只是强调算法偏见为代表的问题的出现，需要通过一定的算法规制来解决。

以上就是我们对算法规制必要性和算法决策所带来的道德问题的讨论。事实上算法规制背后的数据伦理议题，本质上就是算法成为社会与技术系统的一部分以后，我们如何避免算法所导致的复杂的社会系统风险的议题。我们在文中还讨论了算法偏见对道德责任分配带来的一系列挑战，指出未来这样的情况会越发普遍，AI的研究也不能仅限于技术研发和应用层面。

关于这类议题可以讨论的还有很多，例如如何建立一种法学和计算机学的跨学科的框架，将与之相关的伦理问题转化为可以解释的社会治理问题，例如如何通过算法设计将法律要素放在技术系统中进行讨论，如何体现算法中“科技为善”的伦理原则以及如何理解分布式道德责任的应用范式等命题，后续我会在系列文章中持续讨论，欢迎各位交流。

（作者系数字经济学家、商汤智能产业研究院主任）

责任编辑：尹悦