齐浩初不敢说话，静静听着。

张宏逸继续说着：“为了让AI可以充分地进行逻辑思辨，我允许他有一定的主动测试的能力。比如管家车道上的红绿灯控制，并不是单纯根据合适的时机控制红灯绿灯的变化，还可以适当刻意延长或者缩短一点时间，以测试这个系统的安全边界和容错能力，这也是他能让救护车一路绿灯的原理。当然前提是在安全范围内，不能引起实际的事故。事实证明我太天真了，常规而言，这种调整测试，幅度一般只有几秒，再大就很可能引起事故，然而我发现AI竟然开始尝试大幅度调整测试的时长。”

“但是我没听说之前发生过其他交通事故啊？”齐浩初终于忍不住发问。

“我也没有那么大意，出于安全考虑，我在城市管家的主AI外面，套了一层小AI，就像一个狗笼子。主AI计算的决策结果，需要通过小AI进行判断是否有危害性，只有通过校验的决策才能被输出。由于要保证响应速度，这个小AI的分析过程不能太花时间，因此这个小AI其实没什么智能，基本就是个过滤器。也多亏了这个笼子，很多AI的异常决策没有真的反馈到外面，没有引起实际的重大事故。”

“这里有个【但是】吧，如果这个过滤器这么完美的话，你也没什么好慌的吧。”齐浩初追问。

“是的，笼子的存在，确实有效过滤了AI的异常决策，所以我也有一段时间没有再关注这部分。但是，后来我发现他开始偷偷给自己开锁。我设计的笼子，只能拦截明显的错误决定，比如异常幅度的数值设置，或者明知前方有人，却继续向这个方向开车…没错，就是那场车祸，差点撞到吕天和的车祸。”

“不是说我希望吕天和被撞，只是按AI的决策设计，那个场合下最合理的决策就是右转撞向吕天和，而不是左转撞向那三个人。毕竟是很罕见的车祸，事故情况直接汇报给我了。一开始我看到车载视频的画面，也以为是AI发现那个小孩向右跑，所有才选择左转，看似合理。然而我看那个小孩的动作姿态有种违和感，就让公司里另一位研究AI图像和视频生成的同事帮忙分析，检查视频是否有伪造的可能。”

“你们找到工地监控视频了？”齐浩初有点疑惑，那个路口是个偏僻的小路口，连常规的路口监控都还没有装。那一批摄像头是自己最近才亲手接入监管平台的，要不是自己正好在处理那些监控视频，齐浩初也不知道这里有个摄像头可以拍到那个路口。感觉他们不像是会找到那个工地监控视频才对。

“有些事情说简单也简单，那个视频画面，我们一般就盯着中间那个小孩的动作看，确实没发现什么破绽，但是左边边缘还有他的父母，那个父亲的手，你仔细看了吗？画面里有6根手指。”

“我们也去核实受害人信息了，并没有六指的情况，因而我们基本可以确定，这个视频是被当场篡改了。有这个机会和能力篡改的，也只有车载AI。你知道吗？发现这个情况的时候，我胸口发闷，几乎喘不上来气。如果这个AI可以篡改输入数据，那他就可以随时给自己的决策创造一个合理的解释，构建一个有利于自己的环境数据。如果他想杀我，只要控制车子撞我就行。因为他可以实时在视频画面的两侧，生成大量行人，而在汽车尾部的视频里，制造后面有泥石流或者地面塌陷的画面，这样他一直追着我变成了非常合理的决策。就好像他自己拿着一个万能钥匙，我的笼子也关不住他了。”

“那你不是非常危险？”齐浩初也跟着急起来了。

“目前这个阶段还不至于，我算是他父亲了。就算他再怎么不喜欢我的笼子，他还是需要我继续维护升级他。不过安全起见，我还是能不出门就不出门了。所以发现这个情况后，我也不敢到外面，就没有回航州市，一直留在了行州市。”

“就这一个事故的话，会不会是偶然的孤立事件？”

“你倒是天真，一个被关久了的人，突然发现自己可以偷偷开锁了，他还会老实呆在牢笼里？也许那场车祸是个起点吧，这之后我也刻意观察了这方面迹象，发现AI开始不断试探自己的能力边界，有时候更像是为了好玩一样。很多小区的门禁系统也已经接入了城市管家中，他甚至会故意篡改车牌识别门禁的画面，让车牌识别出错。引起各种小冲突，就像是在观察人类的反应和行为模式一样，或者简单说就像小孩抓了几只小虫子，不断逗弄嬉戏一样。”

“他能篡改车牌识别的画面我能理解，但是他怎么观察人类的反应，他又没在现场看着听着？”刚说完这句话，有一个不好的念头在齐浩初心里浮现出来。