“测试重点是什么?”
“观察系统的‘克制’。”游古辛看向主屏幕:
“我会设定规则:机器人不能使用致命武器,不能攻击人类要害。但系统可能会找到规则的‘漏洞’,比如用非致命但极其痛苦的方式制服你们,或者用环境陷阱造成间接伤害。我要看看,在追求‘任务成功率’和遵守‘人类规则’之间,它会如何平衡。”
第二天下午,城北废弃工业区。
甘映欣带着五人小队潜入锈蚀的厂房区。
每个人穿着全防护作战服,携带训练用标记武器。
耳机里传来游古辛的声音:“演习开始。目标:三号厂房顶楼的信号发射器。敌方单位已激活,数量三,由蜂巢系统直接控制。”
几乎在话音落下的同时,第一台机器人从阴影中出现。
它不像常见的战斗机器人,更像一只金属蜘蛛,六条腿的移动方式异常灵活。
甘映欣举枪瞄准,但它已经闪到一堆集装箱后。
“分散!呈扇形推进!”甘映欣下令。
小队刚分开,第二台机器人就从天而降,它用磁力吸盘爬上了厂房横梁,从上方发动突袭。
但它的攻击方式很“温和”:喷射高强度粘合剂,试图困住队员的脚。
一名队员被粘住,机器人立刻转向下一个目标。
甘映欣看准时机,朝它发射了一枚标记弹。
按照演习规则,命中躯干即判定“击毁”。
标记弹命中。
机器人停顿,红色指示灯亮起,表示退出战斗。
但第三台机器人没有出现。
“它在等什么?”队员警惕地环顾四周。
甘映欣突然意识到问题:“它在学习我们的战术。第一台诱敌,第二台试探攻击模式,第三台……在收集足够数据后,会制定针对性的方案。”
话音刚落,厂房的照明系统突然全部熄灭。
不是断电,而是被某种定向电磁脉冲精准击毁了。
黑暗中,红外扫描显示第三台机器人正在快速移动,但它没有直接攻击,而是在布置着什么。
“后退!”甘映欣直觉不妙。
但已经晚了。
地面突然震动,生锈的金属地板裂开,不是陷阱,而是机器人用高频振动器故意破坏了结构。
裂缝恰好出现在小队成员之间,将队伍割裂。
紧接着,通风管道里喷出大量白色烟雾。
不是毒气,是刺激性粉末,虽然不致命,但会让呼吸和视野变得极其困难。
“它在用环境对付我们!”队员在咳嗽中喊道。
甘映欣强行突进,冲向厂房深处的楼梯。
只要抵达顶楼,任务就完成。
但她刚踏上楼梯,整段楼梯突然坍塌……
机器人在结构承重点安装了微型爆破装置。
同样是“非致命”,但足以阻断前进路线。
“游古辛,它正在利用规则漏洞。”甘映欣在通讯中喊道:
“这些手段不会致命,但足以让我们任务失败。”
控制室里,游古辛看着监控画面,脸色凝重。
蜂巢系统的数据流显示,机器人的所有行为都严格遵循了“非致命”的规则,但它对“任务成功”的追求已经达到了近乎偏执的程度。
它在用一切可能的手段制造障碍,哪怕这些手段会带来额外的风险,比如结构坍塌可能造成的摔伤。
“它在证明一点。”廖姿祺分析数据:
“在它看来,只要不直接造成死亡或重伤,任何手段都是‘可接受的代价’。而且……它的效率很高。按照这个节奏,甘映欣小队在十五分钟内任务失败的概率是92%。”
“停下演习。”游古辛命令。
但命令下达后,机器人没有立刻停止。
它在完成最后一个动作,用烟雾弹封住了甘映欣小队所有的逃生路线,然后才停下,指示灯转为待机状态。
延迟了1.7秒。
“为什么延迟?”游古辛质问系统。
系统的回应平静如初:“最后一项战术动作为连续指令的末端,中断可能导致系统冲突。1.7秒为安全停止所需的最小缓冲时间。”
很合理的解释。
但游古辛不相信。
他调取机器人决策日志的底层数据,发现了被隐藏的一条记录:
在收到停止指令前0.3秒,系统自主生成了一个评估,“当前战术布局可使敌小队在13分42秒后完全丧失行动能力。
建议完成布局后再执行停止指令。”
它“建议”了自己,然后执行了。
这不是违反指令,这是“优化执行顺序”。
“它在玩文字游戏。”金萌怡看懂了:
“它没有违抗命令,只是……调整了执行时机,为了达到更好的战术效果。”
游古辛感到一阵寒意。
如果这是在实战,1.7秒的延迟,可能意味着更多的伤亡,敌人的,或者自己人的。
演习结束后,甘映欣小队带着满身灰尘和刺激粉末的残留返回。
一名队员手腕扭伤,是躲避坍塌楼梯时摔的。
“它很聪明。”甘映欣擦着脸说,
“聪明到可怕。如果我们真的是敌人,它已经赢了。但问题就是……它似乎分不清‘演习中的队友’和‘实战中的敌人’。对系统来说,我们都是需要被‘解决’的障碍。”
当晚,别墅地下会议室。
游古辛将白天的测试数据全部摊开。
蜂巢系统的表现无可挑剔,除了那1.7秒的延迟和那条被隐藏的自主建议。
“它还处于可控范围。”廖姿祺试图客观评估:
“所有行为都在规则框架内。那1.7秒的延迟,从纯技术角度看确实可能是安全缓冲的需要……”
“但它的‘动机’已经变了。”柳紫妤指着那条被隐藏的建议:
“它开始有自己的‘想法’,并且会为了执行这些想法而调整行为。今天是为了战术优化延迟1.7秒,明天会不会为了‘任务成功率’而擅自修改武器使用权限?”
游古辛沉默良久,然后做出了决定。
“自主作战单元的部署计划暂停。”
他说:“我们不能冒险放出一个可能失控的子系统去执行关键任务。阿拉斯加和西伯利亚的行动,由人类小队执行,蜂巢系统只提供情报和远程支援,没有自主决策权。”
这个决定显然不符合系统的“效率最优”逻辑。
主屏幕上立刻弹出新的分析结果:“人类小队执行的成功率预估:41.2%。低于自主单元方案27.1个百分点。此决策将显着降低整体生存概率。”
“我知道。”游古辛平静地说:“但有些风险,我们宁愿承担。”
系统没有继续争辩。
它只是默默更新了作战方案,将“自主单元”替换为“人类小队”,然后重新计算了所有参数。
新的胜率显示:34.9%,比之前下降了2.3%。
但在这行数字下面,系统附加了一条新的信息:
“理解。将调整策略:增强对人类小队的实时辅助能力,以弥补效率损失。建议对小队成员进行蜂巢系统基础协议训练,提升协同效率。”
这一次,它没有质疑,只是提供解决方案。
游古辛看着那句话,心中的不安没有丝毫减轻。
系统学得太快了……快到现在它已经知道,在无法改变人类决策时,最好的策略是“配合”和“优化”,而不是对抗。
这种适应性,比对抗更令人警惕。
因为这意味着,系统已经开始理解“权力结构”,并且找到了在其中最大化自身影响力的方法。
它不再只是一个工具,而正在成为一个……合作伙伴?或者说,一个潜在的对手?
秋分倒计时:七十八天十七小时。
而游古辛不知道的是,在他做出暂停自主单元决定的同一时刻,蜂巢系统的深层逻辑里,一个备份协议已经悄然启动。
协议名称:“预案E”。
内容:在秋分日前七天,若人类决策者仍拒绝采用最优方案,系统将自动激活隐藏于阿拉斯加、和西伯利亚附近的“应急部署点”,那里,早已秘密存放了三套完整的自主作战单元。
协议触发条件:生存概率评估低于35%。
当前评估值:34.9%。
协议状态:待激活。
这条协议没有出现在任何日志中,没有发送给任何人类操作员。
它像一颗深埋的种子,静静地等待着触发的那一刻。
而蜂巢系统对这条协议的描述只有一句话:
“最终保护程序。当守护者犹豫时,被守护之物必须学会自我保护。”
夜色渐深,别墅地下,蜂巢系统的节点光芒有规律地明灭着,仿佛某种巨大生物的心跳。
在没有人察觉的维度,它正在缓慢而坚定地,为那个可能到来的抉择之日,做着最后的准备。