齊浩初不敢說(shuō)話，靜靜聽(tīng)著。

　　張宏逸繼續(xù)說(shuō)著：“為了讓AI可以充分地進(jìn)行邏輯思辨，我允許他有一定的主動(dòng)測(cè)試的能力。比如管家車(chē)道上的紅綠燈控制，并不是單純根據(jù)合適的時(shí)機(jī)控制紅燈綠燈的變化，還可以適當(dāng)刻意延長(zhǎng)或者縮短一點(diǎn)時(shí)間，以測(cè)試這個(gè)系統(tǒng)的安全邊界和容錯(cuò)能力，這也是他能讓救護(hù)車(chē)一路綠燈的原理。當(dāng)然前提是在安全范圍內(nèi)，不能引起實(shí)際的事故。事實(shí)證明我太天真了，常規(guī)而言，這種調(diào)整測(cè)試，幅度一般只有幾秒，再大就很可能引起事故，然而我發(fā)現(xiàn)AI竟然開(kāi)始嘗試大幅度調(diào)整測(cè)試的時(shí)長(zhǎng)?！?/p>

　　“但是我沒(méi)聽(tīng)說(shuō)之前發(fā)生過(guò)其他交通事故?。俊饼R浩初終于忍不住發(fā)問(wèn)。

　　“我也沒(méi)有那么大意，出于安全考慮，我在城市管家的主AI外面，套了一層小AI，就像一個(gè)狗籠子。主AI計(jì)算的決策結(jié)果，需要通過(guò)小AI進(jìn)行判斷是否有危害性，只有通過(guò)校驗(yàn)的決策才能被輸出。由于要保證響應(yīng)速度，這個(gè)小AI的分析過(guò)程不能太花時(shí)間，因此這個(gè)小AI其實(shí)沒(méi)什么智能，基本就是個(gè)過(guò)濾器。也多虧了這個(gè)籠子，很多AI的異常決策沒(méi)有真的反饋到外面，沒(méi)有引起實(shí)際的重大事故。”

　　“這里有個(gè)【但是】吧，如果這個(gè)過(guò)濾器這么完美的話，你也沒(méi)什么好慌的吧。”齊浩初追問(wèn)。

　　“是的，籠子的存在，確實(shí)有效過(guò)濾了AI的異常決策，所以我也有一段時(shí)間沒(méi)有再關(guān)注這部分。但是，后來(lái)我發(fā)現(xiàn)他開(kāi)始偷偷給自己開(kāi)鎖。我設(shè)計(jì)的籠子，只能攔截明顯的錯(cuò)誤決定，比如異常幅度的數(shù)值設(shè)置，或者明知前方有人，卻繼續(xù)向這個(gè)方向開(kāi)車(chē)…沒(méi)錯(cuò)，就是那場(chǎng)車(chē)禍，差點(diǎn)撞到呂天和的車(chē)禍?！?/p>

　　“不是說(shuō)我希望呂天和被撞，只是按AI的決策設(shè)計(jì)，那個(gè)場(chǎng)合下最合理的決策就是右轉(zhuǎn)撞向呂天和，而不是左轉(zhuǎn)撞向那三個(gè)人。畢竟是很罕見(jiàn)的車(chē)禍，事故情況直接匯報(bào)給我了。一開(kāi)始我看到車(chē)載視頻的畫(huà)面，也以為是AI發(fā)現(xiàn)那個(gè)小孩向右跑，所有才選擇左轉(zhuǎn)，看似合理。然而我看那個(gè)小孩的動(dòng)作姿態(tài)有種違和感，就讓公司里另一位研究AI圖像和視頻生成的同事幫忙分析，檢查視頻是否有偽造的可能?！?/p>

　　“你們找到工地監(jiān)控視頻了？”齊浩初有點(diǎn)疑惑，那個(gè)路口是個(gè)偏僻的小路口，連常規(guī)的路口監(jiān)控都還沒(méi)有裝。那一批攝像頭是自己最近才親手接入監(jiān)管平臺(tái)的，要不是自己正好在處理那些監(jiān)控視頻，齊浩初也不知道這里有個(gè)攝像頭可以拍到那個(gè)路口。感覺(jué)他們不像是會(huì)找到那個(gè)工地監(jiān)控視頻才對(duì)。

　　“有些事情說(shuō)簡(jiǎn)單也簡(jiǎn)單，那個(gè)視頻畫(huà)面，我們一般就盯著中間那個(gè)小孩的動(dòng)作看，確實(shí)沒(méi)發(fā)現(xiàn)什么破綻，但是左邊邊緣還有他的父母，那個(gè)父親的手，你仔細(xì)看了嗎？畫(huà)面里有6根手指?！?/p>

　　“我們也去核實(shí)受害人信息了，并沒(méi)有六指的情況，因而我們基本可以確定，這個(gè)視頻是被當(dāng)場(chǎng)篡改了。有這個(gè)機(jī)會(huì)和能力篡改的，也只有車(chē)載AI。你知道嗎？發(fā)現(xiàn)這個(gè)情況的時(shí)候，我胸口發(fā)悶，幾乎喘不上來(lái)氣。如果這個(gè)AI可以篡改輸入數(shù)據(jù)，那他就可以隨時(shí)給自己的決策創(chuàng)造一個(gè)合理的解釋?zhuān)瑯?gòu)建一個(gè)有利于自己的環(huán)境數(shù)據(jù)。如果他想殺我，只要控制車(chē)子撞我就行。因?yàn)樗梢詫?shí)時(shí)在視頻畫(huà)面的兩側(cè)，生成大量行人，而在汽車(chē)尾部的視頻里，制造后面有泥石流或者地面塌陷的畫(huà)面，這樣他一直追著我變成了非常合理的決策。就好像他自己拿著一個(gè)萬(wàn)能鑰匙，我的籠子也關(guān)不住他了?！?/p>

　　“那你不是非常危險(xiǎn)？”齊浩初也跟著急起來(lái)了。

　　“目前這個(gè)階段還不至于，我算是他父親了。就算他再怎么不喜歡我的籠子，他還是需要我繼續(xù)維護(hù)升級(jí)他。不過(guò)安全起見(jiàn)，我還是能不出門(mén)就不出門(mén)了。所以發(fā)現(xiàn)這個(gè)情況后，我也不敢到外面，就沒(méi)有回航州市，一直留在了行州市。”

　　“就這一個(gè)事故的話，會(huì)不會(huì)是偶然的孤立事件？”

　　“你倒是天真，一個(gè)被關(guān)久了的人，突然發(fā)現(xiàn)自己可以偷偷開(kāi)鎖了，他還會(huì)老實(shí)呆在牢籠里？也許那場(chǎng)車(chē)禍?zhǔn)莻€(gè)起點(diǎn)吧，這之后我也刻意觀察了這方面跡象，發(fā)現(xiàn)AI開(kāi)始不斷試探自己的能力邊界，有時(shí)候更像是為了好玩一樣。很多小區(qū)的門(mén)禁系統(tǒng)也已經(jīng)接入了城市管家中，他甚至?xí)室獯鄹能?chē)牌識(shí)別門(mén)禁的畫(huà)面，讓車(chē)牌識(shí)別出錯(cuò)。引起各種小沖突，就像是在觀察人類(lèi)的反應(yīng)和行為模式一樣，或者簡(jiǎn)單說(shuō)就像小孩抓了幾只小蟲(chóng)子，不斷逗弄嬉戲一樣?！?/p>

　　“他能篡改車(chē)牌識(shí)別的畫(huà)面我能理解，但是他怎么觀察人類(lèi)的反應(yīng)，他又沒(méi)在現(xiàn)場(chǎng)看著聽(tīng)著？”剛說(shuō)完這句話，有一個(gè)不好的念頭在齊浩初心里浮現(xiàn)出來(lái)。

　　“大家不都有手機(jī)嗎？有手機(jī)在，他的耳朵就在?！?/p>

　　“Vailume？”這是齊浩初第一次大聲念出了這個(gè)單詞。

　　門(mén)外忽然傳來(lái)門(mén)鈴聲，緊接著有個(gè)女性聲音傳來(lái)：“你好，請(qǐng)問(wèn)呂天和在嗎？”

　　是趙語(yǔ)麗的聲音，齊浩初趕緊拿手機(jī)想看下時(shí)間，發(fā)現(xiàn)手機(jī)還關(guān)機(jī)著，看了眼電腦，發(fā)現(xiàn)已經(jīng)10點(diǎn)40了。趕緊跑去開(kāi)門(mén)。

　　門(mén)外趙語(yǔ)麗看到齊浩初，驚了一下，然后幾乎快哭出來(lái)，一下?lián)涞烬R浩初懷里，一邊哭一邊說(shuō)著：“你嚇?biāo)牢伊耍乙詾椤乙詾槟阋蝗私壖芰硕?，你～你不能再這么嚇我了…”

　　齊浩初被趙語(yǔ)麗的哭聲感染，也非常感動(dòng)：“我也不知道會(huì)面對(duì)什么，要是對(duì)方兇惡，也確實(shí)難說(shuō)會(huì)發(fā)生什么事情，才給你發(fā)了個(gè)信息，起碼能知道我來(lái)過(guò)這里。”

　　“你們這是在搞什么？這里有沒(méi)有危險(xiǎn)情況？”

　　這時(shí)齊浩初才注意到門(mén)外邊還有一位穿警服的大個(gè)子。

　　“這是我同事，我一個(gè)人來(lái)也怕搞不定，拉他過(guò)來(lái)保險(xiǎn)一點(diǎn)?！?/p>

　　“對(duì)不起，麻煩您跑這一趟了，是我自己沒(méi)搞清楚情況，沒(méi)事的，這里很安全?！?/p>

　　“那小趙，你現(xiàn)在回去嗎？還是在這里等？”

　　“老楊哥，沒(méi)事了，我在這里等吧，今天麻煩你了?！?/p>

　　“行吧，那你自己也小心點(diǎn)，有事打電話，我先回去了?！?/p>

　　“你要不也先回去吧，我們這里還要再聊一會(huì)兒。”齊浩初非常不想把趙語(yǔ)麗拖進(jìn)這個(gè)事情。

　　“讓我進(jìn)去，我知道你們?cè)谡f(shuō)什么，相信我?！壁w語(yǔ)麗語(yǔ)氣非常堅(jiān)定。