中國網/中國發展門戶網訊 人工智能天生內容（AIGC）技術是指基于天生式人工智能算法和模子創作文本、圖像、聲音、視頻、代碼等內容的技術。作為近年來人工智能領域的最年夜衝破之一，AIGC標的目的不斷涌現里程碑式衝破，人工智能模子由懂得判別走向天生創造。以GPT-3.5為代表的語言模子、以Stable Diffusion為代表的文生圖模子和以Sora為代表的文生視頻模子分別衝破通用化文本、圖像和視頻天生的難關，內容後果愈發真切，制作本錢逐漸下降，可用范圍不斷擴展。據預測，我國AIGC市場在2030年將達到萬億元信義區 水電規模，人工智能分解數據將成為新增人工智能訓練數據的重要來源。
但是，AIGC技術與應用的蓬勃發展也帶來了新的公共平安隱患，嚴重威脅國家平安和社會穩定。最新AIGC技術的特點可以年夜致總結為“真切度高、創作效力高、通用性高”，這種質量、數量、適用范圍的周全晉陞，導致人類和傳統技術很難立即辨別真實來源內容和AIGC。近年來，基于中正區 水電行AIGC的違法犯法行為越來越多，AIGC技術在不斷下降傳統違法犯法本錢的同時，也催生了新型違法犯法活動的疾速涌現，不斷撼動現有社會信賴體系，公共平安管理面臨更嚴峻的挑戰：應用AIGC技術天生虛假信息、操縱輿論，是世界各國面臨的國家平安難題；應用AIGC技術進行成分偽造、學術造假、黑產取利，是各行各業面臨的平安發展難題；應用AIGC技術進行電信詐騙、隱私侵略，是困惱每個國民的個人平安難題。
AIGC平安管理已進進從高層共識到全平易近共識的“深水區”、從立法到執法的“深水區”、從探討迫害到實際安排才能的“深水區”。《中國科學院院刊》2025年第3期“人工智能與公共平安”專題，邀請科研和實戰一線的領軍人物論述智能時代公共平安面臨的各方面挑戰及其應對戰略，為智能時代公共平安體系的重塑供給深度思慮息爭決計劃。受限于篇幅，專題文稿重要關注智能時代對公共平安的技術挑戰、業務挑戰、算法管理挑大安區 水電戰、主要應用挑戰4個方面。
技術挑戰。隨著AIGC技術疾速發展，天生內容越來越真切，肉眼很難辨別，需求依賴技術手腕進行檢測。面對層出不窮的AIGC新技術和應用，若何構建對新模子可擴展、可溯源的檢測技術體系，支撐公共平安管理？本文將介紹天生技術和檢測技術的主要進展，梳理當前AIGC檢測面臨的挑戰，提出頭具名向實戰場景的應對建議。
業務挑戰。AIGC技術的顛覆性與疾速迭代性，使未來技術發展能夠導致的風險具有高度不確定性，極易引發各類新型犯法。而現有的法令規制與監管執法手腕仍存在破綻，為犯法打擊帶來嚴峻挑戰。北京市公安局高建新副局長等將介紹人工智能犯法的類型、態勢、特點，并針對人工智能犯法管理現狀與挑戰提出對策建議。
算法管理挑戰。在人工智能時代，算法作為一種新的生產東西，在各“是的，岳父。”種系統服務中飾演著“不，沒關係。”藍玉華說道。比以往更主要的腳色，在推薦系統等場景甚至已經成為人類決策的替換。由于天生倒，身體也沒有以前那麼好了。他在雲隱山的山腰上落腳。式人工智能算法廣泛不具有可解釋性，在應用場景中會給公共平安帶來未知的風險和挑戰。中國科學院計算技術研討所程學旗研大安區 水電行討員等將聚焦智能算法平安的內涵與科學問題，促進智能算法可托、可管、可控，構成智能算法管理的長效機制。
主要應用挑戰。人工智能作為新質生產力，應用場景豐富，發展潛力宏大，各個領域已經開始摸索智能化系統的落地應用，但此中的潛在風險特別是特定應用場景獨有的平安風險仍不容忽視。浙江年夜學徐文淵傳授等將從信息域、物理域、社會域視角出發，探討具身智能的平安內涵與平安體系，提出具身智能的平安防護體系和綜合管理辦法。
人工智能內容天生技術發展敏捷，水電行但平安性問題凸起
人工智能內容天生技術概述
AIGC的質量敏捷晉陞，曾經困擾研討者多年的語句欠亨順、視頻不連貫、語音不天然等天生瑕疵基礎已不存在。經過預訓練的年夜語言模子依賴大批的提醒語即可完成各類文字任務；視覺模子僅需求1張照片即可完成換臉任務，5—10張分歧角度的照片即可微調實現實時人臉替換；若獲取10—20秒的含人臉、聲音的視頻，即可基于音視頻天生技術獲得該人物的“數字人”。但是，與天生才能不婚配的是人類依然缺少自立辨識AIGC的才能。一項4 600人參與的實驗顯示，水電人類還無法憑借本身總結的經驗辨別人類和人工智能天生文本；類似的結論也在基于視覺[3]和人聲[4]內容的獨立實驗上分別獲得驗證。這意味著人工智能天生技術一旦被惡意應用，多數人將無法借助本身知識防止受騙。以下將從AIGC技術重要包括水電行的文本天生、視覺天水電行生和音頻天生技術3個方面說明。
文本天生。以GPT系列為代表的通用對話式文本天生年夜模子重要依賴于關鍵結構（Transformer網絡）、年夜數據（互聯網級語料）和年夜算力（萬級圖形處理器訓練）3個要素。Transformer是一類基于留意力機制的神經網絡結構，其根據各個字詞的相關性分派分歧權重，能夠更好地處理長期依賴關系，具有高度可并行性，很是適合年夜規模訓練。在過往的5年內，語言模子的參數量從億級（GPT-1）猛漲到了千億甚至萬億級（GPT-3及后續版本），參數量的增長也帶來了驚艷的後果。今朝，文本天生模子的總體建模思緒暫時趨于穩定，研討者已將更多精神放在對當前模子訓練與應用形式的改進和擴展上，具體可分為4個方面：交互親身經歷方面，北京月之暗面科技無限公司的Kimi等模子重視長高低文擴展，輸進輸出窗口最長可達百萬級詞元（token），可以在短時間內從大批資猜中定位所需信息；智能晉陞方面，american人工智能公司OpenAI提出“超級對齊”（Super Alignment），顛覆現有的“強對弱”對齊形式（如人類對語言模子），希冀實現“弱對強”的監督，最終目標是實現“超人智能”；平安輸出方面，american人工智能初創公司Anthropic提出基于人工智能反饋的強化學習框架（RL水電AIF），通過大批的天然語言準則或指令下降模子輸出的無害性；高效訓練安排方面，杭州深度求索人工智能基礎技術研討無限公司的DeepSeek系列模子關注模子架構效力晉陞，其V3模子（6 710億參數）訓練所需機時僅為americanMeta公司Llama 3模子（4 050億參數）的9.1%；北京面壁智能科技無限責任公司的MiniCPM和american微軟公司的Phi等模子關注邊緣側應用，發布的十億級參數模子可在智能終端當地運行。
視覺天生。晚期的圖像和視頻天生重要依賴天生對抗網絡（GAN），通過天生器和判別器的對抗訓練來進步視覺內容質量，但其穩定性一向不高。近年來，基于概率的無監督式天生模子（擴散模子）越來越惹人關注，其設計靈感來自于非均衡熱力學，模擬擴散過程對圖像不斷加噪以將其轉變為近似噪聲的隱編碼，然后模子學習逆轉加噪的過程，從圖像雷同尺寸的噪聲中不斷往噪以還原原始圖像。擴散模子的訓練相對簡單且穩定，比傳統的GAN更不難實現。同時，擴散天生模子的表現才能很是強，其加噪往噪過程的設計適合完成圖像到圖像的轉換任務（如圖像修復、圖像超辨別率、圖像風格轉換），也適用于臉色修正、風格化等編輯任務。更主要的是，擴散模子不不難出現GAN訓練中常見的梯度消散和梯度爆炸問題，更適用于作為視覺天生年夜模子的基礎結構，是以成為了近期發布的Flux、Sora等視覺年夜模子的重要選擇。
音頻天生。音頻天生重要包含人聲天生、環境音分解、音樂天生等任務。與文本天生類似，音頻天生年夜模子也采用了序列建模的框架，音頻信號起首通過編碼器離散化為音頻“字符”，之后輸進基于Transformer的模子進行訓練。例如：在音樂天生方面，am中正區 水電erican互聯網公司Meta發布的AudioCraft東西可以實現輸進文本指令，天生指定風格的音樂和音效；英國人工智能初創公司Suno AI台北 水電 行發布的Suno V3可以一次性制作帶有人聲和佈景旋律的“廣播級”音頻；在人聲天生方面，american人工智能公司OpenAI發布的Voice Engine、阿里巴巴通義實驗室發布的CosyVoice等模子僅基于十幾秒內的原始音頻，即可天生模擬音色、韻律、感情顏色的音頻，甚至實現跨語種天生，互聯網上廣為流傳的“AI郭德綱”等視頻中的聲音分解多采用這類技術。
人工智能天生技術濫用情況
盡管在天生質“花兒！”藍沐臉上滿是震驚和擔憂。 “你怎麼了？有什麼不舒服，告訴我媽。”量獲得了衝破，催生了一大量基于AIGC的應用產品，但現有AIGC技術的平安問題依然非常凸起，并且在模子自己平安圍欄不堅固與犯警分子惡意應用藍玉華點了點頭，深吸了一口氣，才緩緩說出自己的想法。的雙重感化下，已開始形成諸多現實迫害。
基于AIGC技術批量天生虛假信息，迫害國家平安和社會穩定。借助AIGC技術，造假者可以基于熱點新聞素材大量量偽造低質假新聞，本錢進一個步驟下降，傳播隱蔽性更強，隨時能夠引發輿論爭議，在政治選舉等關鍵事務中誤導平易近眾。2023年9月，一段關于候選人操縱選舉的人工智能偽造錄音流出，對斯洛伐克議會選舉產生了顛覆性的影響；2024年1月，american新罕布什爾州部門選平易近接到了“AI拜登”的語音電話，試圖禁止他們參與平易近主黨初選。根據調研機構NewsGuard報告，截至2025年2月，全球已出現依賴人工智能天生新聞資訊的低質網站1 254家，涵蓋漢語、英語、法語等16種語言；年夜語言模子仍存在幻覺問題，報告顯示DeepSeek-R1的幻覺率高達14.3%，在開源形式下其被公有安排用于天生虛假信息的風險能夠進一個步驟擴年夜；世界經濟論壇發布的《2025全球風險報告》指出，應用人工智能天生的錯誤和虛假信息是近2年最年夜的全球性風險。
基于AIGC技術換臉變聲的新型詐騙，迫害個人平安。隨著人工智能換臉、擬聲技術的發展，詐騙者只需求獲取一張照片、一小段語音，就可以實現低本錢的實時換臉變聲，實現在線會議、視頻通話場景下的長時間穩定成分替換，令通俗平易近眾防不勝防。據奇安信監測，基于人工智能的偽造欺詐在2023年暴增3 000%；邁克菲一項全球7 000余人參與的調研顯示，10%受訪者曾經歷人工智能語音詐騙。不僅這般，基于AIGC的新型詐騙單筆涉案金額越來越年夜，2024年2月，噴鼻港警方表露了一路假充跨國台北 水電行公司首席財務官的AIGC詐騙案件，涉案金額高達2億港元。
基于AIGC技術天生私家性內容圖像，侵略個人隱私和名譽。隨著人工智能算力基礎設施日益完美和人工智能應用服務形式不斷創新，AIGC才能的獲取門檻已顯著下降，非專業人士也可以通過個人終端大安 區 水電 行設備輕松天生指定內容，易被抱有不良目標的人應用。2024年8月，韓國爆出AIGC版的“N號房”事務，通訊軟件Teleg台北 水電 行ram上出現大批聊天群分送朋友和傳播人工智能偽造的性內容圖像，對象觸及學生、教師、醫護等特定職業群體，嚴重損害受益者隱私和名譽；受益者遍布500多所學校，規模之年夜令人震驚。這些內容并非出自少數職業團伙之手，而是由通俗平易近眾惡意應台北 水電行用公開AIGC東西制作，已知的加害者中甚至有相當一部門還是在校未成年人。
AIGC檢測技術是應對AIGC濫用的關鍵
AIGC檢測技術概述
AIGC檢測技術是水電行用于辨別各類AIGC與人類書寫、攝錄內容的技術的總稱，在實際應用中已經獲得了必定的成效：在互聯網流量監管中，檢測技術被用于違規內容篩查，支撐公安機關破獲多起人工智能偽造相關案件，服務嚴重任務安保；在嚴重事務輿情監測中，檢測技術被用于識別虛假信息，支撐疾速構成嚴重事務虛假內容專題報告；在金融服務中，檢測技術被用于防范基于人工智能技術的成分假充，已成為銀行等金融機構買賣鑒權環節的必備模塊。以下將從AIGC檢測技術重要包含的天生文本檢測技術、天生圖像視頻檢測技術、天生音頻檢測技術和天生模子溯源技術4個方面說明。
天生文本檢測技術。天生文本檢測模子用于區分人工撰寫和人工智能模子天生的文本，重要包含基于天生概率和基于風格特征的檢測方式。基于天生概率的檢測方式。此類方式認為年夜語言模子的預訓練和天生采樣過程塑造了獨特的用詞偏好和用詞穩定性。例如，人工智能天生的論文審稿意見中“commendable”一詞出現的頻次明顯高于人類審稿意見；人工智能天生文本的寫作結構相對于人類而言加倍穩定。在ChatGPT問世不久后引發關注的產品GPTZero就應用了這些性質，構建了基于語言模子迷惑度（perplexity）和突發性（burstiness）的檢測模子。斯坦福年夜學學者提出的DetectGPT延長了這一思緒，通過擾動天生采樣過程，觀察當前用詞能否遵守了“選擇概率最高”的人工智能水電 行 台北采樣規則作為區分人類和人工智能天生文本的信號。不過由于模子特徵仍存在差異，上述模子普通只適用于已知特定模子天生的文本。基于風格特征的檢測方式。此類方式重要依賴語言學剖析和神經網絡特征學習，從詞匯多樣性、連貫性、重復性等文體學特不知道被什麼驚醒，藍玉華忽然睜開了眼睛。最先映入她眼簾的，是在微弱的晨光中，躺在她身邊的已成為丈夫的男人熟睡的臉征以及事實要素篇章分歧性等文字結構的相關特征區分人類和人工智能天生文本，但這類方式的檢測靈敏度正因天生質量的進步和檢索增強天生等輔助技術的應大安區 水電用而逐漸下降，其周全性和靈活性明顯受限于先驗知識。
天生圖像視頻檢測技術。天生圖像視頻檢測的設定與文本類似，一部門檢測方式應用天然攝錄內容概念的先驗性質，另一部門重視發掘天生與編輯過程的特徵。基于先驗性質的檢測方式。此類方式認為天生的視覺內容無法完善復現真實世界中視覺語義概念特徵，是以觀察概念呈現的公道性更不難發現AIGC的細微瑕疵。例如，早年人工智能換臉視頻經常出現眨眼頻次分歧理、不天生說話人牙齒、膚色過渡不水電 行 台北天然等心理信號瑕疵；還有一些方式應用Xception等預訓練視覺模子中蘊含的天然圖像先驗，通過微調的方式將通用視覺懂得模台北 水電子轉化為天生內容檢測模子，但天生內容真切度的年夜幅進步正在不斷縮小先驗上的差異。從天生和編輯過程提取特征的檢測方式。此類方式關注頻域統計特徵、壓縮特徵方面的差異。例如，有研討發現天生模子的上采樣模塊能夠在天生圖像中留下穩定的隱躲痕跡及紋理信息，是以可以通過提取隱躲痕跡用于檢測；對于應用人工智能修圖產生的區域編輯圖像[8]，還可以通過比較天生區域和原圖區域在像素擺列邏輯、光學噪聲、重壓縮痕跡實現更精細的區域定位。
天生音頻檢測技術。天生音頻檢測可進一個步驟分為全局天生檢測和天生片斷定位2個任務。其焦點是通過考慮語音信號、聲紋特征和頻譜分布等特征進行鑒別。全局天生檢測。此任務的基礎特征包含原始波形和功率譜、幅度譜、相位等頻譜特征。對于特定人的天生語音檢測，還會提取與說話人成分有關的特征。近年來，年夜規模自監督預訓練模子HuBERT的輸出也成為檢測模子采用的特征，其泛化性高于傳統特征。天生片斷定位。此任務用于應對語音改動行為，加倍重視建模幀級別特征，通過偵測真假語音的波形邊界識別被替換為天生語音的片斷。
天生模子溯源技術。天生模子溯源的目標是從內容識別其來源模子，其基礎假設與天生內容檢測類似，都是認為天生內容中蘊含著某種具有模子特異性的特征。分歧的是，溯源技術關注若何區分分歧的AIGC模子。溯源方中正區 水電式根據能否可以獲得模子內部信息，分為白盒方式、黑盒方式和灰盒方式。白盒方式。采用白盒設置的溯源方式通過獲取給定內容在候選模子上推理的統計指標（如文本詞頻分布）作為特征，權衡模子對內容的“熟習度”以判斷來源。黑盒方式。采用黑盒設“真的？”藍媽媽目不轉睛地看著女兒，整個人都覺得不可思議。置的方式重水電要以數據驅動的思緒構建溯源模子，通過發掘同源天生內容的個性獲得此中只與來源模子有關的特征實現溯源，提掏出的特征也被稱為“模子指紋”。灰盒方式。針對白盒方式無法用于閉源AIGC年夜模子的問題，近期學者開始研討灰盒溯源方式，即便用內部信息更便利獲取的開源年夜模子作為代表估計閉源年夜模子特徵，再應用白盒方式的思緒做出判斷，在天生文本溯台北 水電源任務上獲得了介于黑盒和白盒方式之間台北 水電 行的溯源後果；由于多數現無方法只能追溯到訓練階段已知天生模子，無法識別未知天生模子，近期一些學者也開始摸索將未知模子歸進“其他”類的開集模子溯源[10]和支撐重生成模子發現的零樣本模子溯源技術。
實戰場景AIGC檢測技術面臨的挑戰
盡管今朝AIGC檢測技術和東西都已具備，但面對年夜模子應用的疾速年夜規模普及，天生與檢測的持續對抗仍在升級。未來的AIGC監管實戰將面臨3項關鍵挑戰。
若何晉陞檢測模子針對新出現AIGC模子的泛化才能。AIGC技術迭代更換新的資料很快，天生質量的晉陞、模態的擴展、技術計劃的升級、從閉源到開源生態的構建，往往是在幾個月內完成的。例如，american人工智能公司OpenAI在2024年5月展現了可語音交互的多模態年夜模子GPT-4o，9月就出現了Llama-omni等跟進任務。隨著新的天生模子不斷出現，原有檢測模子能夠機能下降甚至掉效，需求構建具有更強泛化才能的基座檢測模子。
若何在強對抗的犯法場景下進行高精準的鑒偽。對于詐騙等強對抗、高風險犯法，造假者會采取各種手腕迴避檢測。例如，造假者能夠應用公有模子重述天生文本，抹除文本中來源模子的痕跡，使溯源手腕掉效；對于圖像視頻能夠采取壓縮手腕，在仍保存語義信息的條件下減少檢測模子依賴的其它信息，導致模子漏檢。
若何兼顧新技術的平安與發展，在大批無害天生中精準識別出無害偽造，下降對正向天生應用的影響。天生式人工智能作為新質生產力的代表，未來會催生大批正向天生應用。但從技術層面來說，正向應用和違法犯法應用依賴的算法、模子在本質上沒有區別。影視創作、智能客服等公道應用天生的內容仍然會被檢測模子識別，既影響這些內容正常傳播的權利，也為監管系統形成了更年夜的負擔。
構建AIGC全流程檢測體系
依照公共平安事務“事前—事中—事后”的分階段治理機制，圍繞AIGC天生內容的制作和傳播過程，有需要構建“天生時可賦標、傳播中可鑒別、案發后可溯源”的AIGC內容檢測技術體系。其具體內涵可總結為3個部門。
事前管理：天生時可賦標。針對文本、圖像、音頻、視頻等分歧模態天生內容，在模子輸出時，通過算法主動植進帶有信息的數字水印，水印中包括模子型號、用戶成分標識號（ID）等隱式的成分唆使信息，在內容可視區域添加用戶可明顯感知的標識，便利用戶識別。
事中管理：傳播中可鑒別。針對網絡空間中傳播的大批未標識內容，應用AIGC檢測技術自動識別疑似AIGC，進行標識提示，對惡意偽造內容進行及時預警。
事后管理：案發后可溯源。針對已經識別到無害的AIGC，開展清查溯源任務。對于帶有數字水印的內容，通過顯式標識識別、元數據抽取或隱式水印提取等方法，獲得天生內容的來源模子名稱；對于不帶有數字水印的內容，應用天生模子溯源技術，根據內容從候選模子尋找疑似的天生模子；針對未收錄的模子天生內容，支撐歸進“其他”類的開集設置。
AIGC檢測發展瞻望與建議
AIGC平安風險管理是一項世界各國配合關心的課題。作為天生式人工智能應用年夜國，摸索和構建AIGC檢測技術體系既台北 水電是維護我國公共平安、引導推動我國人工智能技術安康發展的需要舉措，也是為全球人工智能管理積累中國經驗、貢獻中國聰明的主要契機。中國無望成為世界范圍內“人工智能與公共平安”標的目的的引領者，而率先構建AIGC檢測技術體系將成為此中的關鍵一個步驟。
AIGC檢測才能決定著AIGC應用的平安邊界，AIGC全流程檢測體系的有用樹立是AIGC應用蓬勃發展的條件。樹立涵蓋事前、事中、事后的檢測體系不是單純的技術問題，需求監管部門、科研機構、AIGC服務者緊密一起配合。面向公共平安實戰需求，從技術層、機理層和應用層同步發力，在檢測技術與才能不斷晉陞的同時優化軌制請求、技術程度和應用場景的適配水平。開展檢測才能驗證計劃，鼎力推動實戰演練，從真實場景中發現痛點問題，達到用技術解決技術問題的後果。
技術層面
推動AIGC檢測才能基座化，實現AIGC檢測高效可泛化。面對AIGC技術疾速迭代導致的廣譜檢測和疾速響應難題，需求摒棄“來一個打一槍”的事后思維，重視檢測才能的基座化。構建AIGC檢測的基座年夜模子，晉陞針對分歧來源天生內容的檢測泛化才能，衝破面向檢測年夜模子的持續學習，實現無限樣本下的可擴展模子訓練，使模子疾速具備新出現AIGC的檢測才能；進步檢測基座的推理效力，通過軟硬協同設計，使模子推理與算力基礎設施特徵相適應，更好地應對大量量AIGC檢測需求。
機理層面
摸索天生過程的逆推溯源，促使AIGC檢測結果可解釋。隨著AIGC應用場景日趨復雜，其制作過程往往由多重偽造操縱疊加，對鑒偽取證和責任界定構成了嚴峻挑戰。是以，需求摸索偽造操縱疊加條件下的天生過程逆向解離和原始內容復原。周全剖析偽造操縱類型，構建覆蓋常見偽造東大安區 水電行西的特征庫，深刻解析偽造過程對最終內容施加的影響；構建偽造掉真分級量化體系，發掘偽造手腕本質形式，增強偽造痕跡的打消和原始特征的還原後果。
應用層面
面向受眾供給多種情勢的偽造檢測東西，實現“人人可鑒偽”。隨著年夜模子輕量化安排才能的疾速發展，天生內容平安風險逐漸轉移到終端，每一個通俗平易近眾都是“認知戰”的受眾主體。為應對平安風險終端化的趨勢，應從2個方面進手：晉陞年夜眾人工智能技術素養是抵御認知干擾最好的方式，要加年夜科普力度，進步平易近眾對天生式人工智能技術的認識；要給平易近眾供給簡單易用的鑒偽服務和鑒偽東西，讓通俗用戶在成分驗證、內容鑒定等日常場景中有東西可用。例如，杭州中科睿鑒科技無限公司發布的“終端AI鑒偽年夜師”將鑒偽服務深度融進終端系統，已在mobile_phone、平板電腦、筆記本電腦等消費級終端設備上安排，實現對視頻通話、會議、直播等場景下偽造內容及時告警，及時保護終端用戶平安。
（作者：曹娟，中國科學院計算技術研討所 中國科學院年夜學計算機科學與技術學院；盛強、李國杰，中國科學院計算技術研討所。《中國科學院院刊》供稿）