在1956年美國達特茅斯學院召開的學術研討會上，人工智能（AI）首次成為一個正式學術領域，發展至今已有60多年的歷史。隨著人工智能技術的不斷成熟，會有越來越多的機器人或智能程序充當人類助手，幫助人們完成復重性、危險性的任務。然而，隨著人工智能技術的成熟和大范圍應用的展開，人們可能會面臨越來越多的安全、隱私和倫理等方面的挑戰。

安全性挑戰

人工智能技術應用引發的安全問題源于不同的原因，主要有以下幾點。

技術濫用引發的安全威脅

人工智能對人類的作用很大程度上取決于人們如何使用與管理。如果人工智能技術被犯罪分子利用，就會帶來安全問題，例如，黑客可能通過智能方法發起網絡攻擊，智能化的網絡攻擊軟件能自我學習，模仿系統中用戶的行為，并不斷改變方法，以期盡可能長時間地停留在計算機系統中；黑客還可利用人工智能技術非法竊取私人信息；通過定制化不同用戶閱讀到的網絡內容，人工智能技術甚至會被用來左右和控制公眾的認知和判斷。

技術或管理缺陷導致的安全問題

作為一項發展中的新興技術，人工智能系統當前還不夠成熟。某些技術缺陷導致工作異常，會使人工智能系統出現安全隱患，比如深度學習采用的黑箱模式會使模型可解釋性不強，機器人、無人智能系統的設計、生產不當會導致運行異常等。另外，如果安全防護技術或措施不完善，無人駕駛汽車、機器人和其他人工智能裝置可能受到非法入侵和控制，這些人工智能系統就有可能按照犯罪分子的指令，做出對人類有害的事情。

未來的超級智能引發的安全擔憂

遠期的人工智能安全風險是指，假設人工智能發展到超級智能階段，這時機器人或其他人工智能系統能夠自我演化，并可能發展出類人的自我意識，從而對人類的主導性甚至存續造成威脅。比爾·蓋茨、斯蒂芬·霍金、埃隆·馬斯克、雷·庫茲韋爾等人都在擔憂，對人工智能技術不加約束的開發，會讓機器獲得超越人類智力水平的智能，并引發一些難以控制的安全隱患。一些研究團隊正在研究高層次的認知智能，如機器情感和機器意識等。盡管人們還不清楚超級智能或“奇點”是否會到來，但如果在還沒有完全做好應對措施之前出現技術突破，安全威脅就有可能爆發，人們應提前考慮到可能的風險。

隱私保護挑戰

大數據驅動模式主導了近年來人工智能的發展，成為新一輪人工智能發展的重要特征。隱私問題是數據資源開發利用中的主要威脅之一，因此，在人工智能應用中必然也存在隱私侵犯風險。

數據采集中的隱私侵犯

隨著各類數據采集設施的廣泛使用，智能系統不僅能通過指紋、心跳等生理特征來辨別身份，還能根據不同人的行為喜好自動調節燈光、室內溫度、播放音樂，甚至能通過睡眠時間、鍛煉情況、飲食習慣以及體征變化等來判斷身體是否健康。然而，這些智能技術的使用就意味著智能系統掌握了個人的大量信息，甚至比自己更了解自己。這些數據如果使用得當，可以提升人類的生活質量，但如果出于商業目的非法使用某些私人信息，就會造成隱私侵犯。

云計算中的隱私風險

因為云計算技術使用便捷、成本低廉，提供了基于共享池實現按需式資源使用的模式，許多公司和政府組織開始將數據存儲至云上。將隱私信息存儲至云端后，這些信息就容易遭到各種威脅和攻擊。由于人工智能系統普遍對計算能力要求較高，目前在許多人工智能應用中，云計算已經被配置為主要架構，因此在開發該類智能應用時，云端隱私保護也是人們需要考慮的問題。

知識抽取中的隱私問題

由數據到知識的抽取是人工智能的重要能力，知識抽取工具正在變得越來越強大，無數個看似不相關的數據片段可能被整合在一起，識別出個人行為特征甚至性格特征。例如，只要將網站瀏覽記錄、聊天內容、購物過程和其他各類別記錄數據組合在一起，就可以勾勒出某人的行為軌跡，并可分析出個人偏好和行為習慣，從而進一步預測出消費者的潛在需求，商家可提前為消費者提供必要的信息、產品或服務。但是，這些個性化定制過程又伴隨著對個人隱私的發現和曝光，如何規范隱私保護是需要與技術應用同步考慮的一個問題。

倫理規范挑戰

倫理問題是人工智能技術可能帶給人們的最為特殊的問題。人工智能的倫理問題范圍很廣，其中以下幾個方面值得關注。

機器人的行為規則

人工智能正在替代人的很多決策行為，智能機器人在作出決策時，同樣需要遵從人類社會的各項規則。比如，假設無人駕駛汽車前方人行道上出現3個行人而無法及時剎車，智能系統是應該選擇撞向這3個行人，還是轉而撞向路邊的1個行人？人工智能技術的應用，正在將一些生活中的倫理性問題在系統中規則化。如果在系統的研發設計中未與社會倫理約束相結合，就有可能在決策中遵循與人類不同的邏輯，從而導致嚴重后果。

機器人的權力

目前在司法、醫療、指揮等重要領域，研究人員已經開始探索人工智能在審判分析、疾病診斷和對抗博弈方面的決策能力。但是，在對機器授予決策權后，人們要考慮的不僅是人工智能的安全風險，而且還要面臨一個新的倫理問題，即機器是否有資格這樣做。隨著智能系統對特定領域的知識掌握，它的決策分析能力開始超越人類，人們可能會在越來越多的領域對機器決策形成依賴，這一類倫理問題也需要在人工智能進一步向前發展的過程中梳理清楚。

機器人的教育

有倫理學家認為，未來機器人不僅有感知、認知和決策能力，人工智能在不同環境中學習和演化，還會形成不同的個性。據新華網報道，國外研發的某聊天機器人在網上開始聊天后不到24個小時，竟然學會了說臟話和發表種族主義的言論，這引發了人們對機器人教育問題的思考。盡管人工智能未來未必會產生自主意識，但可能發展出不同的個性特點，而這是受其使用者影響的。機器人使用者需要承擔類似監護人一樣的道德責任甚至法律責任，以免對社會文明產生不良影響。

啟示與建議

人類社會即將進入人機共存的時代，為確保機器人和人工智能系統運行受控，且與人類能和諧共處，在設計、研發、生產和使用過程中，需要采取一系列的應對措施，妥善應對人工智能的安全、隱私、倫理問題和其他風險。

加強理論攻關，研發透明性和可解釋性更高的智能計算模型

在并行計算和海量數據的共同支撐下，以深度學習為代表的智能計算模型表現出了很強的能力。但當前的機器學習模型仍屬于一種黑箱工作模式，對于AI系統運行中發生的異常情況，人們還很難對其中的原因作出解釋，開發者也難以準確預測和把握智能系統運行的行為邊界。未來人們需要研發更為透明、可解釋性更高的智能計算模型，開發可解釋、可理解、可預測的智能系統，降低系統行為的不可預知性和不確定性，這應成為人工智能基礎理論研究的關注重點之一。

開展立法研究，建立適應智能化時代的法律法規體系

歐盟、日本等人工智能技術起步較早的地區和國家，已經意識到機器人和人工智能進入生活將給人類社會帶來的安全與倫理問題，并已著手開展立法探索，如2016年5月，歐盟法律事務委員會發布《就機器人民事法律規則向歐盟委員會提出立法建議》的報告草案，探討如何從立法角度避免機器人對人類的傷害。有效應對未來風險挑戰需強化立法研究，明確重點領域人工智能應用中的法律主體以及相關權利、義務和責任，建立和完善適應智能時代的法律法規體系。

制定倫理準則，完善人工智能技術研發規范

當人工智能系統決策與采取行動時，人們希望其行為能夠符合人類社會的各項道德和倫理規則，而這些規則應在系統設計和開發階段，就需被考慮到并被嵌入人工智能系統。因此，需要建立起人工智能技術研發的倫理準則，指導機器人設計研究者和制造商如何對一個機器人做出道德風險評估，并形成完善的人工智能技術研發規范，以確保人工智能系統的行為符合社會倫理道德標準。

提高安全標準，推行人工智能產品安全認證

可靠的人工智能系統應具有強健的安全性能，能夠適應不同的工況條件，并能有效應對各類蓄意攻擊，避免因異常操作和惡意而導致安全事故。這一方面需要提高人工智能產品研發的安全標準，從技術上增強智能系統的安全性和強健性，比如完善芯片設計的安全標準等；另一方面要推行智能系統安全認證，對人工智能技術和產品進行嚴格測試，增強社會公眾信任，保障人工智能產業健康發展。

建立監管體系，強化人工智能技術和產品的監督

由于智能系統在使用過程中會不斷進行自行學習和探索，很多潛在風險難以在研發階段或認證環節完全排除，因此加強監管對于應對人工智能的安全、隱私和倫理等問題至關重要。建議在國家層面建立一套公開透明的人工智能監管體系，實現對人工智能算法設計、產品開發、數據采集和產品應用的全流程監管，加強對違規行為的懲戒，督促人工智能行業和企業自律。

推動全球治理，共同應對風險挑戰

人工智能的快速發展是全球各國共同面臨的問題，應明確科學家共同體、政府與國際組織各自的職責，引導各國積極參與人工智能全球治理。加強機器人倫理和安全風險等人工智能國際共性問題研究，深化人工智能法律法規、行業監管等方面的交流合作，推進人工智能技術標準和安全標準的國際統一，使人工智能科技成就更好地服務于人類社會。

致謝：本研究受科技部改革發展專項“中國人工智能2.0規劃編制”（2016GH010036）、科技部科技創新戰略研究專項“重大科技項目和科技工程形成機制研究”（ZLY2015133）資助。