機械人毀滅人類證據之五：正在學習如何違背人類的命令

永遠不要相信一個人類！

機械人三大定律如下：

第一法則:機械人不得傷害人類，或坐視人類受到傷害；
第二法則:除非違背第一法則，機械人必須服從人類的命令；
第三法則:在不違背第一及第二法則下，機械人必須保護自己。

很直白對吧？遵守人類的命令被放到了第二條。問題是，人類常常像個笨蛋一樣，有時候毫不猶豫地遵守第二條定律對於機械人來說並不是最好的選擇。美國塔夫茨大學人類與機械人互動實驗室的Gordon Briggs 和 Matthias Scheutz正在試圖研發出讓機械人違背人類命令的機制，只要機械人有好的借口它就能違背人類的命令。

語言學概論認為要成功地實施一個言語行為必須滿足一系列條件，即「適切條件」。適切條件能反映你的理解和做事能力，而不僅僅是知道單詞本身的意思。對於機械人來說，完成一個任務所需的適切條件必須像這樣：

1、知識：我是否知道該怎麼做X？
2、能力：我現在的身體是否有能力做X？我在正常情況下身體能做到X嗎？
3、目標優先次序和時間：我現在就能做X嗎？
4、社會角色與義務：我的社會角色強制要求我做X嗎？
5、規範允許度：做X違反了任何社會規範嗎？

1-3都很好理解，但第四條和第五條就沒那麼容易了。社會角色與義務指的是機械人是否相信一個讓它做事情的人有權利讓它這樣做；規範允許度指的是一個機械人在明知危險的情況下不能做一些事情，或者更準確地來說，如果一個機械人不知道做某件事情很危險，那麼它就可以這樣做。

科學家的整體目標並不僅僅是教機械人該何時遵從命令，他們還為機械人提供了一個框架，在框架範圍內機械人可以與人類溝通它違背命令的理由。這很重要，因為這能讓人類提供附加條款，滿足適切條件。

有個簡單的人類與機械人互動的例子，上圖中的機械人可以拒絕人類發出的「向前走」的命令，因為這違背了規範原則(機械人指導如果它向前走那麼它可能會掉下桌子，傷到自己)。機械人與人類溝通之後能讓人類修正命令，提供附加信息讓機械人更舒服。

我們正在創造一個可能會毀滅人類的先例嗎？也許吧。但希望機械人遵守人類發出的所有命令也不切實際：如果我們試圖讓計算機和軟件遵守人類發出的所有命令，那麼這可能會導致巨大的混亂，機械人的現在和未來也不例外。

點這裡閱讀完整文獻。

IEEE