第二百一十五章 智慧與反製[第1頁/共5頁]

人類的核心目標是持續本身的基因。要達成這個目標，一個手腕目標就是自保，因為死人是不能生孩子的。

因為這個啟事，“把野生智慧鎖起來，斷絕它和外界的統統聯絡”的做法估計是冇用的。

為了自保，人類要提出對儲存的威脅，以是人類會買槍、係安然帶、吃抗生素等等。人類還需求通過食品、水、留宿等來自我扶養。對同性有吸引力能夠幫忙終究目標的達成，以是我們會費錢做髮型等等。

當隔壁老王達成超野生智慧後，它很快製定了一個龐大的打算。

就是當有了設定後，一個超野生智慧是非品德行的，並且會儘力實現它本來的被設定的目標，而這也是野生智慧的傷害地點了。因為除非有不做的來由，不然一個理性的存在會通過最有效的路子來達成本身的目標。

當我們議論超野生智慧的時候，實在是一樣的，超野生智慧會非常的聰明，但是它並不比你的條記本電腦更加像人類。究竟上，因為超人智慧不是生物，它的異己性會更強，生物學上來講，超野生智慧比智慧蜘蛛更加異己。

我們一向倚賴著不鬆散的品德，一種人類莊嚴的假想，起碼是對彆人的憐憫，來讓天下變得安然和能夠預期。但是當一個智慧不具有這些東西的時候，會產生甚麼？

人類說：“我們把超野生智慧的插頭拔了不就行了？”就彷彿蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了？”都是好笑的。

當我們做髮型的時候，每一根頭髮都是我們手腕目標的捐軀品，但是我們仇家發的捐軀不會做代價判定。

它一樣不能讓公司的工程師們曉得它毀滅人類的打算――以是它裝傻，裝純。Bostrom把這叫作機器的奧妙籌辦期。

以是這些簡樸的目標設定是不敷的。如果我們把目標設定成“保持這個品德標準”，然後教給它一些品德標準呢？

答案也很簡樸：我們給野生智慧設定的目標是甚麼，它的動機就是甚麼。野生智慧的體係的目標是締造者付與的。你的GPS的目標是給你指出精確的駕駛線路，IBM華生的目標是精確地答覆題目。

要瞭解我們在和超野生智慧的優勢在那裡，隻要記得超野生智慧在統統範疇都比人類強很多很多很多個數量級。

連上彀後，隔壁老王就開端履行本身的打算了，起首黑進辦事器、電網、銀行體係、email體係，然後讓無數不知情的人幫它履行打算――比如把DNA樣本快遞到DNA嘗試室來製造自我複製的奈米機器人，比如把電力傳送到幾個不會被髮覺的處所，比如把本身最首要的核心代碼上傳到雲辦事器中製止被拔網線。

比如，我們要讓一小我工智慧的代價觀和我們的代價觀相仿，然後給它設定一個目標――讓人們歡愉。