前两天看到一则科技新闻。9 月 19 日，阿里巴巴集团 CEO 吴泳铭在 2024 云栖大会上发表 主题演讲。演讲中有一句被许多自媒体视为深刻洞见，大肆宣传：「生成式 AI 最大的想象力，绝不是在手机屏幕上做一两个新的超级 app，而是接管数字世界，改变物理世界」。除了主语之外，这个观点给我一种特别草率的感觉，像是 CEO 熬夜写出来的讲稿，不严谨甚至荒谬。因为生成式 AI 一直都在深深地改变我们的物理世界，同时世界上也有许多人的生活正在被这系统接管和主宰着。这不是需要想象的美好未来，而需要直面的现实困境，甚至可以说是每一个科技工作者都需要牵挂的问题。
问题不是争论改变让世界更好还是更糟糕，而是这个系统是为谁服务？让谁的生活甜蜜蜜，又让谁的苦难沉甸甸？而当我们理解人工智能系统的政治经济结构，及其带来的环境恶果之后，就很难再买单上述那种狭隘的未来想象了。高管们喜欢推崇科技创新，但却从来不揭露真正的成本。这任务得交给研究者。本书作者 Kate Crawford 正是希望可以解答这一问题。全书的主线探索了人工智能系统是建立在何种形式的剥削、采掘和不公之上的，以广角和多角度的观点，剖析了人工智能运作背后科技、资本和权力的复杂互动。
不同于技术流的定义，本书开篇把人工智能的诞生定位在了玻利维亚盐湖和刚果矿床。因为没有这些各种稀土矿物的采掘，便不可能生产运行人工智能所需要的各种基础设施。大规模采掘带来了许多负面的社会和环境后果，这一部分的讨论令人痛心，特别查了书中提及各个案例的图像视频之后。以至于我现在使用 ChatGPT 之类的产品都会感觉羞愧。在作者讨论人工智能系统所消耗水电之多的时候，这种羞愧尤其强烈。因为目前大模型的训练和推理的能耗，早已远超作者书中的论据了。在第一章的论述中，我们看到人工智能供应链几乎是不透明的，而这与其推究给供应链的复杂，不如说是一种刻意的商业策略，因为只有这样，才可以从共有财（common good）持续提取价值，而避免对损害负责。
劳动力剥削是另一种形式的采掘，为了让人工智能系统运作，还需要很多形式的工作。我特别喜欢作者的思路：与其问机器人是否会取代人类，不如问人类如何越来越被当成机器人对待，以及这对劳工的角色有何意义。许多形式的工作以人工智能一词来包裹，隐藏通常是人类在进行机械式任务的事实，以强化机器可以完成工作的神话。这一点科学史学家西蒙·谢弗 (Schaffer, 1994) 的话一直让我难忘：「为了让机器看起来聪明，有必要隐形它们的力量来源，即围绕和运行它们的劳动力」 。从刚果被军阀虐待的工人，到世界各地从事标签标注的「亚马逊土耳其机器人」，再到富士康装配线上的劳工，还有被限制如厕自由的 996 员工等等。
在更广泛意义上，我们每个人都是人工智能系统的劳工。因为人工智能正是利用我们生产的互联网资讯，以及各种行为数据来训练的。这一点祖博夫 (Zuboff, 2020) 论述得更详细和具体。本书更多地强调了人工智能的训练集从来都不是简单的算法原料，收集、分类和标记，这些行为本质上是一种政治干预，在声称中立的谎言背后，其实际强加了一种观看世界的方式。而这不可避免带来的偏误偏见，只是症状。真正的病根在于，这种规范逻辑被不加审视地用来决定该如何评估我们的身体和社会。可量化和追踪的意识形态几乎扫荡了全世界，从而把复杂微妙的事物都形式化为机器可读的样貌。从图像，到如今我们的自然语言，甚至是情感。一方面我得承认数学形式化的美妙，另一方面也不得不反思，一切都可以通过数学表示和运算的世界，真的是我们向往的吗？像尼采所称的「把五花八门、不可计算的东西伪造成相同的、类似的和可计算的东西」，是谁在渴望呢？
最后一章，作者给出的答案是国家。从军事到政务，国家将公民资料提取和社会监视结合在一起，将人工智能系统扩散到了许多职能执行中，从日常管理、执法到福利分配等等。政府和科技企业之间的秘密交易，不仅推动了监控的扩张，而且在这个过程中还模糊了政府、执法机构和科技产业的边界。用书里的表述便是「人工智慧产业同时挑战和重塑国家的传统角色，也用以支撑和扩张地缘政治权力的旧有形式。用演算法来治理既是传统的国家治理的一部分，又超越传统。套用理论家布莱顿的话，国家正扮演机器的盔甲，因为机器已承担起国家的角色，也成了国家的记录器。」
最后批判总是离不开怎么办的难题，作者的解法是关注人工智能中的权力问题，而不是伦理。我们应该先从那些被人工智能系统剥夺权力、歧视和伤害的人开始。评估矿工、外包工作者的劳动条件。质询「大规模自动化」产生的碳足迹，而不仅仅只是赞美。技术在推陈出新的时候总是获得许多掌声，以至于盖过了对其长远后果的忧思之声，改变的第一步是停止把科技视为决定和先决条件。不要推崇「人工智能➕」，而是呼吁「人工智能➖」，开始反思在哪些地方不该使用人工智能？以及如何设计人工智能服务于一个更公正和永续的社会？
以上大概是书的内容，接下来聊聊自己的阅读感受。首先，整体而言这本书带给我的新知较少，可能是之前已经阅读过不少相关材料，很多观点都已经知道，作者批判的思路也都是可以预知的，这次只是了解到更多例子。但如果读者之前没有接触过这方面的题材，这本书还是值得推荐的。其次，第三、第四、第五章的节奏有点拖沓，这三章可以合并成一章，核心观点都是在表达同一件事情。最后是国家这一章本来是很期待的，但读完感觉有点单薄，根本没有展现出作者所说的复杂张力呀。还是希望可以读到讨论国家和科技行业互动的专著。至于最后提出的解法，我感觉是很多技术批判著作的通用模版，不痛不痒。但我的确相信「在价值提取之外，还有永续的集体政治存在；有值得保留的共有财，有市场之外的世界，以及超越歧视和粗暴最佳化模式的生活方式。我们的任务是规划出一条路线，通往那样的地方」。只是具体来说如何行动，需要更多的实践了，仅靠批判肯定是不足的。