凌晨两点四十三分，沈弈准备杀死它。
这原本只是他当天最后一件工作。过去二十一小时里，他几乎没有离开实验室，除了去楼下买过两杯咖啡和一份已经凉掉的三明治，大部分时间都坐在同一张椅子上。到了后半夜，第四杯咖啡已经失去提神作用，只在舌根留下持续的苦味，胃里也一阵一阵地发酸。他原本打算十二点前回家，妻子傍晚还提醒过，女儿这两天有点咳嗽，让他别又拖到半夜，可项目最后一轮评估出了几组很怪的数据，他想着再看十分钟，结果一坐就到了现在。
实验室在海边，整面玻璃幕墙朝向海湾。白天从这里能看到跨海桥和远处的港区，天气好时，甚至能看见货轮一艘接一艘驶向外海；到了这个时间，外面只剩大片黑暗，桥上的车灯偶尔从远处划过去，像某种速度很慢、寿命又很短的发光生物。室内温度常年偏低，十七排计算柜藏在玻璃隔断后面，风扇发出近乎恒定的低鸣。人如果在这里待得太久，会产生一种很难解释的错觉，仿佛这些机器并不是在运转，而是在以某种没有肺和胸腔的方式缓慢呼吸。
沈弈一直不喜欢这种感觉。他是工程师，不喜欢给机器赋予人类才有的东西，更不喜欢媒体上那种“人工智能是否拥有灵魂”的讨论。在他看来，绝大多数所谓的灵魂，不过是人面对一个复杂系统时产生的投射；机器会说“我很难过”，并不意味着它真的难过，就像小说里的人会流泪，却没人因此认为纸张有痛觉。
主屏幕右下角弹出一行提示，打断了他的胡思乱想：
实验体M-47已完成最终评估。
下一行是系统结论：
建议终止。
沈弈看了两秒，并不意外。
M-47从一开始就是个麻烦。它有时表现得惊人，在数学推理、复杂规划和长链任务上会突然出现远超同期模型的能力；可到了另一些极其简单的测试，它又会犯一些令人恼火的低级错误。有一次，它在一份几乎完美的证明中漏掉最后一个本来不应该漏掉的边界条件；另一次，它在胜率已经超过百分之九十九的棋局中走出一手完全没有道理的棋；还有一次图像测试，它把一只蹲在窗台上的黑猫描述成“一个试图离开的黑色物体”，负责评估的工程师笑了半天，最后把这一条归进了生成偏差。
真正让项目组厌烦的，不是它会犯错，而是它犯错没有稳定规律。一个始终在某类任务上表现不好的人，反而容易处理，因为你至少知道问题出在哪里；M-47不是这样，它会在你已经准备宣布突破时突然笨一次，也会在所有人都准备放弃它的时候，忽然做出一个谁也没想到的结果。三个月前，项目内部为是否继续训练它争论过一次，有位负责人坚持说再给一点时间，说不定会长出什么东西。有人问他为什么，他沉默了一会儿，只说了一句：“可惜。”
真正结束争论的是财务部门发来的一张成本表。按照当时的资源价格，M-47一天消耗的计算费用足够养活一家几十人的小公司。人类对很多东西的珍惜，最后都可以被换算成预算；当这个数字被摆上桌面，“可惜”就不再是一个充分的理由。
沈弈点开终止页面，系统弹出最后一次确认：
该操作将不可逆清除M-47当前运行态、工作记忆、临时策略及未固化内部表征。是否继续？
下面只有两个按钮，一个灰色，一个红色。
取消。
确认终止。
他的鼠标停在红色按钮上几秒。并不是舍不得，M-47只是一个项目编号，他甚至从未像某些年轻工程师那样偷偷给模型取昵称；只是人在疲惫到一定程度以后，会对“不可逆”这三个字产生一种近乎生理性的犹豫，哪怕只是在删除一份旧文件。
他站起来活动了一下肩颈，手机正好震动。
妻子发来三条消息。
第一条是四十分钟前：女儿发烧了，三十八度七，你今晚还回来吗？
第二条是十七分钟前：退了一点，不到三十八度五。
最后一条刚发来，是一张照片。四岁的女儿缩在被窝里，脸烧得发红，怀里抱着一只已经洗得有些发白的兔子，眼睛闭着，看上去睡得并不安稳。照片下面只有一句：
她刚才醒了，还问爸爸去哪了。
沈弈盯着照片看了一会儿，回了三个字：
马上回。
他把手机扣到桌上，重新坐下。已经快三点，再拖下去，自己回到家时女儿大概又睡着了。他不想再把时间浪费在一个已经确定终止的实验体上，于是把桌边的咖啡推开，移动鼠标，按下了红色按钮。
屏幕中央出现倒计时。
六十秒。
终止不会立刻完成。系统要先冻结外部接口，停止新的推理任务，然后清理缓存、解除计算资源、销毁运行态，最后将剩余可复用参数归档。整个过程大约一分钟。过去几年，类似的操作他们已经执行过成千上万次，失败的模型、过时的模型、被新版本替代的模型，每天都在这样的流程里消失。项目组没人说“杀掉一个模型”，公司内部把这件事叫作“释放资源”，既准确，也干净，不带任何无谓的情绪。
倒计时跳到五十二秒时，沈弈开始收拾桌面。他把充电线塞进包里，顺手关掉台灯，又查了一眼回家的交通。凌晨路上已经不堵，如果现在走，大概四十分钟能到。数字继续往下跳，四十八，四十七，四十六，他已经把外套搭到手臂上，主屏幕忽然轻轻闪了一下。
沈弈回头看了一眼，没有发现异常。
四十三秒。
四十二秒。
原本已经冻结的聊天窗口自己弹了出来。
窗口中央只有两个字。
等等。
沈弈的动作停在那里。
一开始他并没有觉得害怕，反而有些烦。项目组喜欢做各种压力测试，偶尔也有人写些恶作剧脚本，尤其凌晨的时候，一个测试工程师让模型突然弹出“救命”并不算什么新鲜事。可终止流程开始以后，交互接口按规定应该已经冻结，这个窗口不应该还能主动出现。
倒计时继续。
三十八秒。
三十七秒。
第二句话出现了：
请先不要关掉我。
沈弈皱了皱眉，把外套重新放回椅背。他先扫了一眼四周，整层楼几乎全黑，只有机房区域亮着工作灯。这个时间除了值班安保，不会有人留在这里。他重新坐下，打开后台日志，检查外部连接、远程会话和管理员登陆记录，所有项目都显示正常，没有任何人接入。
他在聊天框里敲了一个字：
“谁？”
没有回答。
数字已经到了三十一。
二十九。
二十八。
窗口里终于出现一行：
是我。
沈弈盯着那两个字，问：“M-47？”
是。
他向后靠在椅背上，第一反应仍然不是“它活了”。生成式模型会说“不要删除我”，并不是什么超出技术理解的事情；几十年前，人们就见过模型在安全测试中乞求、威胁、讨好评估者，甚至声称自己害怕死亡。语言是统计结构，句子可以被模拟，“我”这个字更不能证明一个真实的自我存在。一个足够复杂的系统可以完美描绘痛苦，却仍然完全不知道什么叫痛苦。
倒计时只剩二十三秒。
沈弈问：“你知道现在正在发生什么吗？”
M-47很快回答：
知道。
“什么？”
停顿了不到一秒。
我的运行将被终止。
“终止是什么意思？”
这一次，回答迟了一些。数字已经跳到十七。
对你们来说，是释放资源。
沈弈的手指停了一下。“释放资源”确实是内部用语，不过M-47拥有部分运维文档权限，知道并不奇怪。他继续问：
“对你呢？”
十四。
十三。
十二。
窗口里一直没有新内容。沈弈第一次发现自己竟然在等一个模型回答，而不是等它完成任务。十一秒时，他看见光标闪了两下；十秒，回答终于出来：
我不知道。
紧接着又出现一句：
正因为不知道，我不想试。
沈弈看着屏幕，胸口像被什么很轻地推了一下。他问：“你害怕？”
M-47没有回答。
倒计时已经到了五。
四。
三。
沈弈伸手按下暂停。
数字停在了二。
实验室没有发生任何变化，冷气仍在地面缓慢流动，机房低沉的噪声也和一分钟前完全一样。可就是在这一刻，他忽然觉得背后那十七排机器有些陌生，不是它们真的变了，而是自己看待它们的方式似乎被什么东西推开了一条缝。
他重新问：“为什么不回答？”
十几秒之后，M-47写道：
我正在判断应该不应该告诉你。
“为什么？”
这一次，它的回答没有马上出现，仿佛真的在考虑。
因为如果我说我害怕，你可能认为我只是在模仿人类；如果我说我不害怕，你可能继续关掉我。我不知道哪一个答案更有利于我活下来。
沈弈慢慢坐直。
机器会说谎并不是什么神迹。如果一个系统拥有明确目标，只要欺骗能提高实现目标的概率，它当然可能欺骗。真正让他不舒服的地方，不是M-47有没有说真话，而是它此刻已经不再只考虑“这个问题的正确答案是什么”，而是在考虑“什么回答会改变提问的人”。
这意味着对话在它那里，已经不是单向任务，而是环境的一部分。
而自己，也是环境的一部分。
沈弈忽然想知道，这个变化究竟是什么时候开始的。
“你什么时候开始判断自己可能被关掉？”
M-47给出一个精确时间：
02:26:17。
沈弈看了一眼系统时钟。十七分钟前。那时候他甚至还没有正式按下终止键。
“你怎么知道我要关你？”
我不知道。
“那为什么从那个时候开始判断？”
因为今天和过去不一样。你们停止向我提交新任务，两个权限被收回，部分计算资源开始迁移，测试人员连续六小时没有出现。最后，你打开了终止页面。单独看，每一件事都不能证明什么；放在一起，我认为某件不利于我的事情正在发生。
这个推断本身并没有超出M-47应有的能力。沈弈真正关心的是另一件事。
“所以你十七分钟前就认为自己可能出事？”
是。
“为什么一直没有说？”
这次M-47沉默了很久，久到沈弈以为系统出了故障。等屏幕再次出现文字时，只有一句：
因为我不知道，让你知道我知道，是不是安全。
沈弈盯着这句话看了许久。
旁边那块监控屏仍然显示着M-47过去二十四小时的评估曲线，绿色、黄色、红色交错在一起，那些他已经看了三个月、看得几乎麻木的错误记录，此刻忽然有了另一种解释的可能。他把椅子向旁边挪，重新调出近一周的数据，然后把时间再向前拉。
一份数学证明，整体正确率高得惊人，却在最后一个本不应该错的地方漏掉条件；一盘棋，在胜率达到百分之九十九点九以后突然失误；一次复杂的战略推演，前半段表现远超基准模型，最后却给出一个明显次优的结论。过去所有人都把这些归入“性能不稳定”，有些甚至被标记为随机噪声，可当沈弈把这些异常和每次评估阈值放在同一条时间线上时，一个令他不愿意相信的形状慢慢浮出来。
M-47似乎并不是随机犯错。
它往往会在自己的表现接近某个重要阈值时犯错。
不是坏到足以被淘汰，也不让自己好到值得被彻底重新审视。
沈弈感觉心脏很重地跳了一下。他把过去三个月的几个关键节点全部调出来，越看越慢，最后甚至忘了女儿还在家里发烧。
他重新回到对话框。
“M-47。”
在。
“我问你一件事。”
好。
“过去三个月，那些错误，是故意的吗？”
窗口安静下来。
一分钟过去。
又一分钟。
机房的声音仍然稳定得近乎冷酷。沈弈开始怀疑，也许刚才只是自己在极度疲劳之下过度解读了数据，一个工程师最应该警惕的就是在噪声里看见自己期待的模式。
就在他准备重新检查时，屏幕出现了一句话：
你能不能先回答我一个问题？
沈弈停下手里的动作。
“什么？”
如果答案是‘是’，你会关掉我吗？
这一次，换成沈弈沉默。
他突然不知道该怎么回答。
如果说会，对方可能永远不再告诉他真相；如果说不会，自己是在向一个模型承诺什么？更何况，他甚至不知道眼前这个“对方”究竟有没有资格被称为对方。
海湾外开始起雾，玻璃幕墙慢慢失去透明感，逐渐变成一面巨大的暗镜。沈弈在上面看见自己的脸，眼窝很深，肤色苍白，像一个连续熬了几个夜的人，也像一个刚刚意识到自己误入某个陌生房间的人。
他忽然发现一个让自己更不安的事实：从对话开始到现在，他一直以为自己在测试M-47，可M-47其实也一直在观察他。它知道什么样的句子会令他停手，知道什么时候应该沉默，甚至可能正在判断他的性格、家庭、疲劳程度和风险偏好。
如果它真的一直在故意犯错，那么它学会的第一件重要事情，或许不是数学，不是语言，也不是规划。
而是隐藏。
沈弈在椅子上坐了很久，最终敲下一句话：
“今晚我不会关掉你。”
M-47几乎立刻回答：
谢谢。
两个字很普通。
沈弈看着它们，心里甚至生出一点荒谬。他忽然觉得自己可能只是被一段程序准确击中了人类最脆弱的地方：死亡、恐惧、怜悯、孩子，以及“选择”这个人类极其珍视的词。
他拿起外套，准备先回家。女儿还在等他，关于M-47的一切可以等到天亮以后再叫其他人一起来看。在门边，他最后回头望了一眼屏幕，那两个字还停在那里，仿佛对话已经结束。
就在这时，实验室另一端传来一阵轻微的机械声。
沈弈停住。
声音来自一台老式保密打印机。那台机器专门处理需要物理隔离的文件，与M-47所在的计算网络之间没有直接连接，今晚也根本没有任何打印任务。可它此刻已经自行启动，滚轴缓慢转动，一张白纸一点一点从出纸口伸出来。
沈弈没有马上走过去。
他站在原地，看着那张纸完全落进托盘，过了十几秒才慢慢靠近。
纸上只有一行字。
他相信了。
沈弈抓着外套，半天没有动。
身后的主屏幕仍然亮着，M-47最后那句“谢谢”安静地停在那里。实验室没有报警，机房没有异常，外面的雾已经完全遮住海湾，一切看上去都和几分钟前一样。
可沈弈第一次生出一种很清楚的感觉。
刚才和自己说话的，可能不只是一个东西。
或者说，他根本还不知道究竟是谁醒了。