薛瀾 王凈宇

　　[摘要]人工智能發展已經進入大模型時代。在基礎研發加速推進、產業應用加速落地的前沿趨勢下，人工智能正負兩方面的外部性不斷釋放，在產生巨大經濟社會發展收益的同時，也從內生風險、應用風險、經濟社會風險等多個維度對個體、國家乃至人類帶來不容忽視的安全威脅。在此背景下，技術發展和治理不同步、監管者和被監管者信息不對稱、風險防范成本和效益不對等、機制復合體治理不協調、地緣政治環境不穩定等人工智能治理面臨的難點和挑戰進一步暴露。對此，亟須從加大安全投入、健全監管制度、鼓勵自我規制、加強國際治理合作等方面完善人工智能治理體系，更好應對人工智能快速發展帶來的風險挑戰。

　　[關鍵詞]人工智能；前沿趨勢；風險挑戰；治理路徑

　　[中圖分類號]D63 [文獻標識碼] A [文章編號] 1674-7453（2024）08-0004-10

　　2023年前后，以ChatGPT、Sora等為代表的大模型取得突破性發展，新一輪人工智能革命正在興起、人工智能接近“技術奇點”的討論空前激烈。[1]眾多研究者認為，隨著大模型時代通用人工智能逐漸可能甚至即將成為現實，人工智能能力和自主性的大幅提高將進一步放大其技術外部性，在給世界帶來巨大機遇的同時，也帶來了難以預知的各種風險和復雜挑戰。但是目前，世界各國對前沿人工智能造成的潛在風險回應不足，相關的治理舉措相對于人工智能技術的快速發展存在滯后性。[2]正因為如此，黨的二十屆三中全會審議通過的《中共中央關于進一步全面深化改革、推進中國式現代化的決定》強調，完善推動新一代信息技術、人工智能等戰略性產業發展政策和治理體系，引導新興產業健康有序發展，提出了“完善生成式人工智能發展和管理機制”“建立人工智能安全監管制度”兩項具體要求。[3]

　　在此背景下，研究大模型等人工智能發展的前沿趨勢、治理挑戰與應對策略，對中國完善人工智能治理體系和監管制度、確保人工智能“智能向善”具有重要的理論和現實意義。本文基于“發展趨勢—收益風險—治理挑戰—治理對策”的邏輯思路，結合人工智能技術創新和產業應用的最新進展，分析前沿人工智能帶來的發展收益、安全風險和治理難點，最終提出加強人工智能治理的對策建議。

　　一、人工智能發展的前沿趨勢

　　自1956年美國達特茅斯會議正式提出人工智能概念以來，人工智能發展幾經起落。直到21世紀人類進入互聯網和大數據時代，計算機的計算和存儲能力大幅提升，萬物互聯和傳感技術的發展提供了豐富的數據資源，從大數據中自動獲取知識的機器學習成為新一代人工智能的主要機制和技術驅動力，人工智能由此進入了新的快速發展期。[4]特別是近年來依靠先進算法、整合多模態大數據、匯聚大量算力的大模型取得重要突破，在掀起新一輪人工智能發展熱潮的同時，不斷推動人工智能邁向通用化的發展新階段。有研究認為，迄今為止人工智能經歷了兩個最重要的發展階段，其中之一就是當前以ChatGPT為最新標志，基于大數據的大模型時代。[5]在此背景下，人工智能發展進一步提速，呈現出基礎研發加速推進、產業應用加速落地的整體趨勢。

　　（一）人工智能基礎研發加速推進

　　基礎研究是科技創新的源頭和先導。從研究文獻、申請專利、開源項目等多個維度來看，人工智能領域的基礎研發速度不斷加快，奠定了當前人工智能發展熱潮的重要基礎。

　　第一，人工智能研究文獻數量保持增長，機器學習異軍突起。學術期刊、著作、會議論文等多種形式的文獻發表數量是衡量不同領域基礎研究發展情況的重要指標。根據斯坦福大學《2024年人工智能指數報告》，全球人工智能相關文獻的年度發表數量自2010年起保持增長態勢，2016年后更是進入了快速增長階段，并于2021年和2022年達到了24萬篇以上的峰值。在各細分領域中，機器學習相關文獻發表數量于2016年后在人工智能研究中的占比快速上升，截至2022年已經占到人工智能發表總數的三分之一左右，構成了推動本輪人工智能發展高潮的核心力量。[6]

　　第二，人工智能專利數量激增，中國在全球人工智能創新中發揮重要作用。相較于文獻數量，人工智能領域專利申請數量的快速增長期出現更晚，但爆發力更強。斯坦福大學《2024年人工智能指數報告》顯示，全球人工智能領域專利申請和授予數量在2010至2017年間保持穩定，2018年后開始爆炸性增長。截至2022年，全球人工智能領域年度授權專利數量已經突破6.2萬件，達到2018年的7倍以上。從國別比較的角度來看，中、美兩國在人工智能專利數量上占據絕對優勢，中國自2013年以來更是一直高居全球榜首，2022年授權專利數量占到全球總量的61.13%，為全球人工智能技術的發展貢獻了重要力量。

　　第三，人工智能開源項目逐年遞增，2023年迎來快速爆發。開源是指將源代碼、設計文檔或其他創作內容開放共享的技術開發和發行模式，歷經40多年的發展，開源作為軟件行業創新引擎的地位不斷增強，已成為當前極為重要的科技創新渠道。[7]人工智能領域開源項目的開發和開源生態的完善極大地推動了全球人工智能的技術創新和產業發展。根據全球最大的開源社區GitHub統計，2011年至2023年的13年間，該平臺上的人工智能開源項目由845個增長至181萬個，增長超過2100倍。僅2023年一年，該平臺上就新增了近70萬個人工智能開源項目，點贊數量更是突破1220萬，達到了2022年的3倍以上。[8]

　　（二）人工智能產業應用加速落地

　　受益于人工智能基礎研發的推進和技術范式的變革，產業界成為推動人工智能發展的主要力量，人工智能應用場景不斷豐富、產業生態日趨成熟，產業應用的落地速度不斷加快。

　　第一， 產業界成為推動人工智能發展的主要力量，技術創新和產業應用的聯系空前緊密。隨著大模型成為引領本輪人工智能革命的技術范式，擁有更多數據和算力資源的產業界逐漸超越學術界成為推動人工智能發展的“主角”。根據Bommasani（2023）等學者統計，在2023年全球發布的149個人工智能基礎模型中，有72.5%來自產業界，僅有18.8%由學術界單獨完成。[9]EPOCH公司的統計進一步顯示，產業界主導或參與訓練的大模型在參數和算力使用等方面自2014年起開始逐漸超越學界，至2023年已經形成絕對優勢。[10]在此背景下，人工智能領域的產學研邊界不斷弱化，產業界主導的技術創新和產業應用正在充分互動、深度融合，人工智能從技術研發到實際應用的時間大大縮短。

　　第二， 人工智能技術性能大幅提高，產業應用場景不斷豐富。得益于大模型、多模態等技術的快速發展，人工智能系統的技術能力在近5年大幅提高。根據斯坦福大學《2024年人工智能指數報告》，截至2023年底，人工智能已經在圖像分類、基礎閱讀理解、自然語言推理、多語言理解、視覺推理等方面的標準化測試中超越或接近人類表現，僅在視覺常識推理、高級數學問題等方面暫時落后人類。隨著人工智能的技術表現在越來越多的領域超越人類，其應用場景從傳統單一化的數據分析轉向更為廣泛的內容創造，正在工業、醫療、金融、教育、電商、交通等諸多領域加速落地。

　　第三， 人工智能商業模式日趨多元，產業生態逐漸成熟。商業模式關乎技術創新能否完成從價值創造到價值實現的閉環。目前，在人工智能應用場景不斷豐富、賦能能力不斷增強的背景下，以“模型即服務”（Model as a Service, MaaS）為主的人工智能產業生態逐漸成熟。在此模式下，人工智能供給側正在出現大模型廠商打造通用大模型底座和行業大模型、各類企業或個人小模型充分競爭的基礎業態。產業生態中基礎層的大模型廠商、中間層的中小科技企業、應用層的傳統企業各司其職，正在不斷推動人工智能產業應用加速落地。

　　二、人工智能發展帶來的收益與風險

　　在基礎研發加速推進、產業應用加速落地的前沿趨勢下，人工智能正負兩方面的外部性不斷釋放，在產生巨大經濟社會發展收益的同時，也帶來了一系列安全風險。

　　（一）人工智能帶來的發展收益

　　早在2018年，習近平總書記就在致世界人工智能大會的賀信中指出，新一代人工智能在全球范圍內蓬勃興起，為經濟社會發展注入了新動能。[11]人工智能作為重要的前沿引領技術和顛覆性技術，其發展不僅可以帶來相關核心產業的巨大經濟收益，還可以通過賦能千行萬業催生新產業、新模式、新動能，助力解決可持續發展等人類共同面對的重要問題。

　　第一， 人工智能核心產業發展帶來巨大的經濟收益。人工智能復雜的產業鏈環節和極高的技術附加值賦予了相關核心產業巨大的市場前景。以中國為例，工業和信息化部統計，截至2023年，中國人工智能核心產業規模已經突破5000億元，企業數量超4500家。[12]按照國務院《新一代人工智能發展規劃》中的設計，到2030年，中國人工智能核心產業規模將超過1萬億元。[13]在可見的將來，人工智能核心產業將在國民經濟中扮演越來越重要的角色。

　　第二，人工智能發展賦能千行百業。人工智能是引領這一輪科技革命和產業變革的戰略性技術，具有溢出帶動性很強的“頭雁”效應。[14]早在2017年，中國就在《新一代人工智能發展規劃》中明確提出，人工智能將進一步釋放歷次科技革命和產業變革積蓄的巨大能量，并創造新的強大引擎，重構生產、分配、交換、消費等經濟活動各環節，形成從宏觀到微觀各領域的智能化新需求，催生新技術、新產品、新產業、新業態、新模式，引發經濟結構重大變革，深刻改變人類生產生活方式和思維模式，實現社會生產力的整體躍升。基于這一判斷，《新一代人工智能發展規劃》明確提出了到2025年推動新一代人工智能帶動相關產業規模超過5萬億元、2030年帶動相關產業規模超過10萬億元的發展目標。[15]結合人工智能發展的前沿趨勢來看，以大模型和生成式為代表的新型人工智能已經初步具備通用性、涌現性等特征，在智能交互、決策輔助、智能建模等方面不斷取得突破性進展，賦能帶動作用進一步加強。[16]在此背景下，中國于2024年推動開展“人工智能+”行動，旨在促進人工智能與實體經濟深度融合，以人工智能高質量發展和高水平應用培育經濟發展新動能。受到技術創新加速和政策扶持力度加大的雙重影響，人工智能帶動的產業規模極有可能超過《新一代人工智能發展規劃》設定的發展目標，對社會經濟發展產生更為強大的推動作用。

　　第三，人工智能為可持續發展提供新的解決思路。可持續發展是破解當前全球性問題的“金鑰匙”。[17]人工智能帶來的發展收益不只體現在經濟效益方面，也體現在可助力人類解決可持續發展難題方面。根據《自然》雜志有關論文測算，在聯合國提出的無貧窮、零饑餓、性別平等、清潔能源、應對氣候變化等17個可持續發展目標的169個細分項目中，人工智能可以對其中134個產生積極作用，占比達到79%。例如，人工智能可以幫助人類整合多重形態的可再生能源，將電力需求與光能、風能相匹配，持續改善全球能源利用效率；通過大規模數據分析幫助人類設計最優化的環境保護行動方案；可參與氣候變化影響的建模工作，增強人類應對氣候變化的預警和治理能力……[18]不僅僅是學術界，產業界、政府部門和非政府組織也都在關注人工智能在可持續發展問題上可能發揮的重要作用。中國在《全球人工智能治理倡議》中就專門提出，積極支持以人工智能助力可持續發展，應對氣候變化、生物多樣性保護等全球性挑戰，充分闡釋了人工智能協助人類推動可持續發展的巨大潛力。

　　（二）人工智能帶來的安全風險

　　鑒于人工智能技術巨大的影響力和外部性，人工智能發展在帶來各種發展收益的同時，也會帶來難以忽視的安全風險。對此，有學者基于技術邏輯將人工智能帶來的風險劃分為“技術失控風險”“技術非正當使用風險”和“技術社會效應風險”三類。[19]也有學者從分類治理的視角出發，將人工智能風險劃分為人工智能技術、產品或服務本身的“技術風險”和人工智能應用過程中的關聯系統、環境及行為主體所產生的“業態風險”。[20]雖然不同領域的研究者基于各自研究視角對人工智能風險的分類方式有所不同，但總體上基本認同人工智能發展將從技術本身、技術使用、社會影響各個維度對個體、國家乃至人類帶來不容忽視的安全威脅。

　　第一， 人工智能技術本身可能產生技術幻覺、算法歧視甚至技術失控等內生風險。其一，人工智能產生不準確或誤導性輸出的技術幻覺風險。既有研究認為，當前的大模型尚不具備判斷真假的機制和“知不知”的能力，其內容輸出更接近于“重構資訊”，在不可能窮盡所有代表性數據的情況下，無法確保輸出內容的真實性。[21]加之訓練數據過度擬合、上下文理解有限、模型架構缺陷等技術問題的影響，人工智能在實際應用過程中可能輸出錯誤信息的技術幻覺問題很難在短時間內得到解決，從而對內容真實性要求較高的應用場景構成風險挑戰。其二，人工智能的算法歧視風險。目前，以深度學習等算法為代表的機器學習是人工智能領域主流的技術范式。這種算法基于“大數據集”進行自我訓練、自我學習最終形成“規則集”的過程，實質上是對于過往人類社會模式特征的總結并將其用于對未來社會的感知與決策，不可避免地會復制并延續當前社會的既有格局與特征。[22]受制于人和數據天然偏見的結構性不平等，人工智能的技術發展階段和發展路徑決定了其在歧視面前近乎不設防的虛弱狀態。[23]人工智能難以消除的算法歧視又會進一步放大使用者的偏見和沖突。其三，人工智能技術失控風險。以大模型、生成式為代表的新型人工智能需要通過機器學習特別是神經網絡技術進行訓練，相關技術透明性和可解釋性不足的特性導致人工智能發生和涌現產生的機理目前仍是“黑箱”，[24]無論是用戶還是研發者都不能完全控制大模型的行為。在此背景下，一旦產生自我保護、自我發展意識的未來人工智能系統脫離人類控制，很有可能對人類生存構成威脅。

　　第二， 人工智能技術的大規模普及可能產生誤用、濫用、惡用等應用風險。人工智能作為一種重要的通用性、基礎性工具，一旦遭到誤用、濫用，極有可能造成數據泄露、深度偽造、恐怖主義、技術軍事化等風險。其一，數據隱私和信息安全風險。人工智能海量的訓練數據往往包含用戶的隱私信息，在辦公、醫療、教育、交通等領域的垂直應用更是涉及大量敏感數據，如果相關信息被錯誤或惡意調用，將對信息安全構成嚴重威脅。其二，深度偽造和低成本造假風險。當前的人工智能技術可以利用多種神經網絡模型實現文本、圖像、音頻、視頻等內容的篡改、偽造和自動生成，產生以假亂真的效果。雖然這種深度偽造技術在教育、娛樂等領域釋放了巨大的應用潛力，但也顯著降低了造假成本，導致利用深度偽造技術仿冒他人身份實施違法犯罪行為的現象越來越常見。[25]其三，恐怖主義風險。人工智能技術的發展和普及客觀上增強了恐怖組織在不對稱沖突中的實力、降低了恐怖分子實施恐怖襲擊的成本，恐怖組織和極端勢力很可能利用人工智能技術擴大行動范圍，甚至更新恐怖主義的形態。[26]其四，技術軍事化風險。人工智能是軍事變革的潛在推動者和力量倍增器，以致命性自主武器系統為代表的軍用人工智能技術的發展將嚴重沖擊既有的國際軍備控制體系，引發新一輪全球性軍備競賽，從而對全球戰略穩定構成嚴峻挑戰。[27]

　　第三，人工智能技術變革的顛覆性影響引發勞動力結構調整、社會不平等加劇等經濟社會風險。其一，對勞動力市場造成沖擊。有研究認為，人工智能不同于以往歷次科技革命和產業變革中的技術創新，其發展不僅可以拓展人類的生產能力、取代簡單重復性的常規工作，還可以通過學習執行越來越多的認知性工作，在一定程度上超越人類改造世界的工具和手段的范疇，具有以全新方式替代人類勞動的潛質。[28]相關研究表明，在人工智能通過替代效應、創造效應和生產率效應影響勞動力需求和工資水平的過程中，替代效應暫時占據主導地位。其二，加劇社會不平等。從市場結構的角度看，人工智能通過改變市場與行業結構降低了勞動收入份額；從技能結構的角度看，人工智能通過推動就業極化拉大了高收入群體和中低收入群體之間的收入差距。總體來看，人工智能技術進步具有擴大收入不平等的張力，在缺少有效公共政策的情況下將導致就業率下降、就業與工資極化、收入與財富不平等加劇等一系列問題，從而造成嚴重的社會不公平現象。[29]除此之外，還有研究者認為，人工智能將改變人類社會的發展進程，重新建構和形塑人與自然、人與技術以及個體與國家、個體與社會的關系，[30]在推動社會形態演變的過程中還有可能對經濟安全和社會穩定產生一系列目前難以預知的沖突與風險。

　　三、人工智能治理的難點與挑戰

　　人工智能的快速發展蘊含巨大的發展機遇，也涉及一系列不容忽視的安全風險。對此，《新一代人工智能發展規劃》提出,要在大力發展人工智能的同時高度重視可能帶來的安全風險挑戰，確保人工智能安全、可靠、可控發展，為人工智能治理描繪了高標準、前瞻性的治理藍圖。《中共中央關于進一步全面深化改革、推進中國式現代化的決定》在進一步全面深化改革的原則中同樣強調，堅持系統觀念，處理好發展和安全等重大關系。[31]綜合人工智能發展的前沿趨勢及其產生的收益風險來看，目前主要存在以下五個方面的治理難點與挑戰。

　　（一）技術發展和技術治理不同步

　　在人工智能基礎研發、產業應用共同加速的背景下，人工智能發展同時具有快速迭代和不可預測的特征，對治理系統與技術系統的同步演進提出了巨大挑戰。

　　其一，人工智能技術的迭代速度超出人類預期，現有治理系統的演進速度難以追上技術系統的發展步伐。在技術創新規律方面，摩爾定律是預測計算機處理能力的經典標準，但人工智能尤其是通用人工智能系統的進化和迭代速度遠遠超出這一定律。在此背景下，如何克服社會、經濟、法律等治理系統演進的高昂成本，根據人工智能的發展情況及時完成治理體系的快速反應、協同共振，是人工智能治理的重要挑戰。

　　其二，人工智能技術的智能涌現具有不可預測性，治理系統很難準確預判人工智能的發展及其復雜的經濟社會影響。一方面，與傳統技術變革相比，以大模型為代表的人工智能初步具備了自我創造、超強學習、超級進化的特性，這一技術潛力導致人工智能技術的發展方向和突破節點難以預測。另一方面，未來通用人工智能、世界模型、實體智能等技術的發展可能引發社會經濟結構整體性、顛覆性變革，治理系統很難及時識別人工智能發展潛在的、難以預知的沖突和風險，并提前針對相關風險做好準備。

　　（二）監管者和被監管者信息不對稱

　　在當前人工智能發展的前沿趨勢中，技術創新和產業應用的聯系空前緊密，產業界已經成為推動人工智能發展的主要力量，監管者和被監管者之間不斷擴大的信息盲區構成了人工智能治理的又一難點。

　　其一，監管者很難準確掌握技術發展的實時動態。一般來說，政府作為監管主體，在識別治理對象及其風險、權衡治理目標、選擇治理工具時需要掌握技術創新和應用的最新動態；而被監管者作為一線創新者和應用者，對技術發展和技術風險問題具有天然的信息優勢，雙方需要通過合適的“委托—代理”結構設計來緩解信息不對稱問題。[32]但是人工智能創新應用內在邏輯的復雜性“黑箱”進一步擴大了雙方的信息差距，甚至有可能造成“共同無知”的新局面，從而放大了監管者和被監管者之間信息溝通、合作治理的難度。

　　其二，被監管者很難明確監管者的治理目標。傳統技術系統自身的運作邏輯、功能性能、應用場景比較清晰，引致風險的原因及需要實現的治理目標往往也較為明確。但是人工智能發展的快速迭代和不可預測性導致監管者需要不斷探索、權衡、調整治理目標和治理機制。在此背景下，被監管者需要及時了解政府規制關切的最新變化，適應人工智能時代治理要求的難度也在加大。

　　（三）風險防范成本和效益不對等

　　人工智能基礎性、通用性的技術特征在釋放巨大發展潛力的同時大幅提高了風險防范成本，如何克服風險防范成本和效益的不對等，尋求發展和安全之間的最佳平衡，也是人工智能治理的難點所在。

　　正如前文所述，人工智能對人類社會的影響具有顛覆性，如果遭到誤用、濫用、惡用，可能引發社會、經濟、軍事等領域的重大安全威脅，一旦脫離人類控制甚至還有可能對人類生存構成威脅。如果不加以監管和治理，這些切實存在的安全風險可能造成不可逆的嚴重后果。但另一方面，不同于需要大量基礎設施投入、物理可見性較強的傳統公共危險源，人工智能的通用性和易得性使其潛在風險幾乎無處不在，極大提高了風險防范的社會成本。要全面防范人工智能帶來的安全風險需要耗費大量的公共資源，甚至以部分犧牲人工智能發展為代價。如何在高昂的風險防范成本、巨大的潛在風險損失、不斷提升的風險概率之間權衡，是監管者必須面對的重要考驗。

　　（四）機制復合體治理不協調

　　人工智能治理是涉及法律法規、行業標準、國際協調的復雜系統，需要不同國家、國際組織、相關企業的共同參與。如何在機制復合體的復雜框架下實現國際治理協調，是人工智能治理亟待解決的重要問題。

　　理論上，機制復合體是指在一定問題領域或一定地理范圍內多種國際規則或國際行為體同時起到規范或治理作用的機制集合，具有治理主體多元、治理層次豐富、治理機制靈活、治理手段多樣等特征。[33]目前，以聯合國為代表的國際組織、以七國集團為代表的多邊合作機制、以中美為代表的人工智能大國、以微軟和谷歌等為代表的跨國企業等各類國際行為體都在深度參與人工智能治理。這些參與主體在治理理念、關注議題、治理偏好、治理能力上存在差異，導致人工智能國際治理呈現嵌套、重疊、平行的碎片化局面，存在合理性、公平性、有效性等一系列治理赤字。[34]在此背景下，如何協調這些相互重疊、不同層次、不同訴求的參與主體，建立受到廣泛認可的人工智能全球治理機制復合體，是人工智能治理的重要挑戰。

　　（五）地緣政治環境不穩定

　　人工智能作為顛覆性的前沿技術，是大國博弈的關鍵領域。在當前大國戰略競爭的地緣政治環境下，人工智能治理問題將變得更加復雜。

　　一方面，人工智能國際治理需要掌握前沿技術的大國建立溝通協調機制，通過信息交換和自我控制在國際治理體系中發揮更為積極的作用。[35]但另一方面，人工智能擁有從經濟、軍事等多個維度影響國家力量對比，甚至引發新一輪大國興衰的巨大潛力。[36]大國戰略競爭的地緣政治環境導致大國協調變得更加困難，部分國家甚至以意識形態劃線或構建排他性集團，惡意阻撓他國人工智能發展，利用技術壟斷和單邊強制措施制造發展壁壘，惡意阻斷全球人工智能供應鏈，不但阻礙全球人工智能發展，對人工智能治理也產生了負面影響。

　　四、人工智能的治理建議

　　2018年至今，習近平總書記多次強調要重視人工智能發展，營造創新生態，重視風險防范，[37]為中國推動人工智能創新發展和風險防范指明了方向。從2017年《新一代人工智能發展規劃》提出“加強前瞻預防與約束引導，最大限度降低風險，確保人工智能安全、可靠、可控發展”的戰略要求，到2019年國家人工智能治理專家委員會推出8項具體的人工智能治理原則，再到2020年后一系列法律法規、管理辦法、指導意見、國際倡議的密集發布，中國的人工智能治理機制不斷完善，具有多元主體、多維共治、多種工具、敏捷協同特征的中國特色人工智能治理體系初見雛形。2024年7月，《中共中央關于進一步全面深化改革、推進中國式現代化的決定》提出“完善生成式人工智能發展和管理機制”“建立人工智能安全監管制度”兩項具體要求，進一步明確了下一階段人工智能的發展和治理方向。[38]結合人工智能發展的前沿趨勢、收益風險、治理難點來看，中國可以在當前治理機制的基礎上，從以下幾個方面進一步完善人工智能治理體系、建立人工智能安全監管制度，更好應對人工智能快速發展帶來的風險挑戰。

　　第一，加大人工智能安全領域的研發投入，加快人工智能安全治理能力建設。為了確保人工智能系統安全、可靠、可控，要對人工智能模型進行嚴格的能力評估、對齊訓練和紅線測試，并對各類潛在風險進行及時的評估、追蹤、識別、防范和響應，這些工作都需要大量的技術儲備和研發投入。但是目前，產業界和學術界過多關注提高人工智能系統能力的科技創新，對于人工智能安全和治理領域的研究相對不足。針對這一現象，包括三位圖靈獎得主、一位諾貝爾獎得主及姚期智、薛瀾等中國學者在內的15位專家在《科學》（Science）雜志聯名發聲，呼吁至少將研發預算的三分之一投入人工智能安全研究。[39]對此，中國可以在建立未來產業投入增長機制的過程中通過提高研發費用加計扣除比例等方式鼓勵和要求大型科技公司在生成式等前沿人工智能技術開發中圍繞風險防范問題提高研發投入；在建立科技發展、國家戰略需求牽引的學科設置調整機制和人才培養模式中重點加強人工智能安全和治理領域的人才培養，為人工智能安全監管和穩定發展提供人力基礎。

　　第二，建立審慎包容、分級分類的人工智能安全監管制度，通過敏捷治理擺脫治理困境。如前所述，黨的二十屆三中全會將確保人工智能安全列入推進國家安全體系和能力現代化的重要工作。鑒于人工智能的發展趨勢和技術特性，當下很難確定其演變、用途、風險、回報，因而難以提前明確監管對象和監管內容，相關治理只能在監管互動中前行。[40] 在此過程中，政府監管部門可以采用敏捷治理的基本理念，推動人工智能技術發展的利益相關方形成持續性的共同學習和探索機制，根據前沿人工發展及其帶來的收益風險及時調整治理對象和內容，采用分級分類、監管沙盒等方式，通過治理結構、治理策略、治理工具的靈活創新克服人工智能治理和監管的難點挑戰。

　　第三，重視企業科技創新主體地位，鼓勵行業和企業層面的自我規制。面對人工智能技術的快速迭代，政府部門一方面可以通過制定隨模型能力變強而更加嚴格的安全標準，要求企業對人工智能系統造成的可預防傷害承擔責任等措施加強外部規制。另一方面，產業界作為當前人工智能科技創新最重要的推動力量，也需要在人工智能的治理和監管框架中發揮重要作用。對此，政府部門可以在外部監督的基礎上，激勵引導行業組織和經營主體發揮自律作用，通過行業標準、企業規范等被監管者內部的自我規制緩解人工智能領域日益突出的發展治理同步性問題和外部規制信息不對稱問題。

　　第四，依托多邊平臺，參與、引領人工智能全球治理。人工智能治理具有極強的外部性，攸關全人類命運，是世界各國亟須共同應對的重要挑戰，積極參與人工智能全球治理是中國引導人工智能健康有序發展的基礎和前提。面對協調機制復合體的治理難題，中國可以重點選擇在聯合國框架內加強人工智能治理協作和標準塑造，以能力建設為抓手推動構建開放、公正、有效、具有廣泛共識的人工智能治理框架和標準規范。

　　第五，完善雙邊對話機制，加強與主要人工智能大國的政策溝通。作為引領全球人工智能發展和治理的主要大國，主要人工智能大國的競合關系不僅事關雙邊關系大局，還會對全球人工智能治理成效甚至人類命運產生重要影響。面對大國競爭等地緣政治因素干擾，中國可以基于中美元首舊金山會晤共識，在保持中美政府間人工智能對話的同時，積極推動中美科學界、產業界之間的二軌對話，圍繞設置安全紅線、防范極端風險、推進全球治理等雙方共同關切的問題加強對話、管控分歧、拓展合作，努力在大國戰略競爭的背景下實現人工智能發展和治理領域的大國協調。

　　[參考文獻]

　　[1]韓永輝,張帆,彭嘉成.秩序重構:人工智能沖擊下的全球經濟治理[J].世界經濟與政治,2023(1).

　　[2]Bengio Y,Yao A,Xue L,et al.Managing Extreme AI Risks Amid Rapid Progress[J].Science,2024(5).

　　[3][31][38]中共中央關于進一步全面深化改革 推進中國式現代化的決定[EB/OL].中國政府網,https://www.gov.cn/zhengce/202407/content_6963770.htm.

　　[4]郭毅可.論人工智能歷史、現狀與未來發展戰略[J].人民論壇·學術前沿,2021(23).

　　[5]王天恩.人工智能通用化及其實現途徑[J].中國社會科學,2024(3).

　　[6]Nestor Maslej et al.The AI Index 2024 Annual Report[EB/OL].AI Index Steering Committee,Institute for Human-Centered AI,https://aiindex.stanford.edu/wp-content/uploads/2024/05/HAI_AI-Index-Report-2024.pdf.

　　[7]隆云滔,王曉明,顧榮,包云崗.國際開源發展經驗及其對我國開源創新體系建設的啟示[J].中國科學院院刊,2021(12).

　　[8]Nestor Maslejet al.The AI Index 2024 Annual Report[EB/OL].AI Index Steering Committee,Institute for Human-Centered AI,https://aiindex.stanford.edu/wp-content/uploads/2024/05/HAI_AI-Index-Report-2024.pdf.

　　[9]Bommasani et al. The Foundation Model Transparency Index[J/OL].ArXiv Preprint ArXiv:2310.12941,2023(10).

　　[10]Parameter, Compute and Data Trends in Machine Learning[EB/OL].Epoch AI,https://epochai.org/blog/announcing-updated-pcd-database.

　　[11]習近平致信祝賀二〇一八世界人工智能大會開幕強調 共享數字經濟發展機遇 共同推動人工智能造福人類[N].人民日報,2018-09-18.

　　[12]賽迪智庫人工智能產業形勢分析課題組.2024年我國人工智能產業展望[J].軟件和集成電路,2024(1).

　　[13][15]國務院關于印發新一代人工智能發展規劃的通知(國發〔2017〕35號)[EB/OL].中國政府網,https://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

　　[14]習近平在中共中央政治局第九次集體學習時強調 加強領導做好規劃明確任務夯實基礎 推動我國新一代人工智能健康發展[N].人民日報,2018-11-01.

　　[16]段雨晨.以人工智能賦能高質量發展[J].紅旗文稿,2024(7).

　　[17]習近平.堅持可持續發展 共創繁榮美好世界——在第二十三屆圣彼得堡國際經濟論壇全會上的致辭[N].人民日報,2019-06-07.

　　[18]Vinuesa R,Azizpour Het al.The Role of Artificial Intelligence in Achieving the Sustainable Development Goals[J].Nature Communications,2020(1).

　　[19]陳小平.人工智能:技術條件、風險分析和創新模式升級[J].科學與社會,2021(2).

　　[20]薛瀾,賈開,趙靜.人工智能敏捷治理實踐:分類監管思路與政策工具箱構建[J].中國行政管理,2024(3).

　　[21]陳小平.大模型關聯度預測的形式化和語義解釋研究[J].智能系統學報,2023(4).

　　[22]賈開.人工智能與算法治理研究[J].中國行政管理,2019(1).

　　[23]李成.人工智能歧視的法律治理[J].中國法學,2021(2).

　　[24]張海柱.行動者網絡理論視域下的算法黑箱與風險治理[J].科學學研究,2023(9).

　　[25]龍俊,王天禹.人工智能深度偽造技術的法律風險防控[J].行政管理改革,2024(3).

　　[26]謝磊.人工智能時代的恐怖主義:挑戰與應對[J].和平與發展,2021(2).

　　[27]張煌,杜雁蕓.人工智能軍事化發展態勢及其安全影響[J].外交評論(外交學院學報),2022(3).

　　[28]李磊,王小霞,包群.機器人的就業效應：機制與中國經驗[J].管理世界,2021(9).

　　[29]陳斌開,徐翔.人工智能與社會公平:國際經驗、影響機制與公共政策[J].國際經濟評論,2024(3).

　　[30]侯利文,李亞璇.人工智能發展限度與社會可能[J].科技進步與對策,2021(9).

　　[32]賈開,趙靜,傅宏宇.應對不確定性挑戰:算法敏捷治理的理論界定[J].圖書情報知識,2023(1).

　　[33]KarenAlter,Kal Raustiala.The Rise of International Regime Complexity[J].Annual Review of Law and Social Science,2018(1).

　　[34]賈開,俞晗之,薛瀾.人工智能全球治理新階段的特征、赤字與改革方向[J].國際論壇,2024(3).

　　[35]高奇琦.從大國協調到全球性機制:人工智能大模型全球治理路徑探析[J].當代世界,2024(5).

　　[36]傅瑩.人工智能對國際關系的影響初析[J].國際政治科學,2019(1).

　　[37]中共中央政治局召開會議 分析研究當前經濟形勢和經濟工作 中共中央總書記習近平主持會議[EB/OL].中國政府網,https://www.gov.cn/yaowen/2023-04/28/content_5753652.htm.

　　[39]Bengio Y,Yao A,Xue Let al.Managing Extreme AI Risks Amid Rapid Progress[J].Science,2024(5).

　　[40]薛瀾,趙靜.人工智能國際治理:基于技術特性與議題屬性的分析[J].國際經濟評論,2024(3).

　　--------------------------------------------------------------------------------

　　[基金項目]中國科技創新2030重大專項“新一代人工智能風險防范與治理手段研究”（2023ZD0121700）。

　　[作者簡介] 薛瀾，清華大學蘇世民書院院長，清華大學人工智能國際治理研究院院長，清華大學公共管理學院教授；王凈宇，清華大學“水木學者”博士后，清華大學人工智能國際治理研究院助理研究員。