“清朗”行動狠剎AI濫用歪風，央視對話天融信專家共推技術“向善而行”！
近年來，隨著人工智能向經(jīng)濟社會各領域加速滲透，AI技術濫用風險日益凸顯，不僅擾亂網(wǎng)絡環(huán)境，甚至被用于實施詐騙活動，成為違法侵權重災區(qū)。今年4月30日起，為期3個月的“清朗·整治AI技術濫用”專項行動在全國范圍內(nèi)展開。
專項行動旨在強化AI技術源頭治理，清理整治違規(guī)AI應用程序，加強AI生成合成技術和內(nèi)容標識管理，推動網(wǎng)站平臺提升檢測鑒偽能力，整治利用AI制作發(fā)布虛假信息、實施侵權違法行為等突出問題，努力營造清朗有序的AI應用網(wǎng)絡環(huán)境。
AI技術是一把雙刃劍，既帶來了便利，也埋下了隱患。隨著全民AI時代的到來，及時理清AI技術濫用亂象之下的底層技術邏輯，對于規(guī)范AI技術服務和應用、促進技術向善、保障社會公平正義具有重要的現(xiàn)實意義。
AI技術濫用 理清行業(yè)亂象之下的底層邏輯
AI仿冒名人侵權現(xiàn)象愈演愈烈，AI生成虛假信息擾亂傳播秩序，AI預測彩票騙局已有多人中招……我們不禁要問，為何AI技術濫用的門檻如此之低？
AI仿冒名人 收割流量背后的違法侵權
從發(fā)布吸引眼球的謠言信息，到仿冒名人學者、知名企業(yè)家，AI技術成了自媒體博主收割流量的工具。近日，天融信科技集團網(wǎng)絡安全專家接受央視采訪，揭秘AI仿冒視頻合成原理，提醒廣大網(wǎng)友警惕仿冒名人的詐騙行為。
目前網(wǎng)絡上多數(shù)AI深度合成的工具都是開源軟件，使用起來沒有門檻，要仿冒任何一個人的過程并不復雜。采訪過程中，天融信科技集團網(wǎng)絡安全專家呂碩解釋了數(shù)字人制作的底層邏輯——首先分析人的面部表情、手部動作以及聲紋，然后使用相應的技術框架進行克隆識別，最后根據(jù)輸入的文字內(nèi)容生成相應的語態(tài)，模擬出人物的面部表情以及動作，生成一段與之高度契合的視頻內(nèi)容。
呂碩指出，應用AI深度合成大模型來制作仿冒別人的短視頻，只要有一段聲音、人物清晰的視頻就能操作，而且整個過程僅需5-10分鐘就能完成。采訪現(xiàn)場，呂碩采集了記者的畫面，通過AI合成技術制作出了帶貨礦泉水的“記者數(shù)字人”。
天融信科技集團網(wǎng)絡安全專家潘季明認為，目前很多AI大模型采用開源模式的初衷是共享協(xié)同的創(chuàng)新協(xié)作模式，其根本目的是為了降低創(chuàng)新門檻，避免重復冗余的開發(fā)，加速信息技術的更新迭代。一旦被濫用，則會帶來嚴重的負面影響。
因此，他建議開源模型要對使用者進行一定限制，從技術角度來講，可以在發(fā)布開源軟件過程中，強制添加一些無法去除的水印，或者在原數(shù)據(jù)上打上標記，也可以在生成內(nèi)容的時長或清晰度上做出限制。
防范AI深度合成音視頻侵權，也可以利用AI技術來對抗跟檢測AI。今年2月，天融信科技集團副總裁、中國網(wǎng)絡空間安全協(xié)會人工智能安全治理專業(yè)委員會專家薛智慧接受央視采訪時提到，“當前有一些典型的AI技術，能夠對AI生成的圖片或者音視頻進行檢測，來判斷或者分析是否為后期加工和合成的?！保c擊查看詳情）
AI生成虛假信息 大模型幻覺干擾下的“自說自話”
在全民AI熱潮下，很多人養(yǎng)成了有問題拿起手機問AI的習慣。今年5月，有網(wǎng)友通過AI軟件提問得出寧波交警抖音號注銷的原因“主要與一起交通事故引發(fā)廣泛關注有關”的結論，并分享至社交媒體，導致輿論進一步發(fā)酵，后寧波交警辟謠稱信息不實。
那么，AI生成內(nèi)容為什么會出現(xiàn)傳播虛假信息、干擾傳播秩序的問題？從技術角度來講，現(xiàn)階段網(wǎng)民普遍接觸到的AI軟件本質(zhì)上是一個概率計算器，而不是真正的思考者，其原理可以分為喂數(shù)據(jù)、學規(guī)律和做推理三個步驟。
但是對于超出知識庫的問題，這種技術則會容易出現(xiàn)AI幻覺，也就生成了貌似合理連貫但同輸入問題意圖不一致，與現(xiàn)實或已知數(shù)據(jù)不符合或無法驗證的內(nèi)容。現(xiàn)階段的AI幻覺難以完全被消除，但可以試著緩解。
薛智慧在接受央視記者采訪時談到，當使用AI軟件生成內(nèi)容時，可以從三個方面進行重點關注：
● 通過多個信息來源來對內(nèi)容進行確認，特別是涉及到新聞、統(tǒng)計數(shù)據(jù)時更是如此。
● 如果生成了具有敏感和偏見性的內(nèi)容，需要提高警惕，避免被誤導。
● AI軟件只是一個輔助工具，不要過度依賴和相信這些軟件生成的內(nèi)容。
技術本身沒有善惡，關鍵是看人怎么用。薛智慧進一步建議，可以從用戶層面讓民眾了解AI生成內(nèi)容的原理，學習辨別虛假信息；在平臺層面，AI軟件服務商應建立嚴格的審查、檢測、過濾等制度；在社會層面，建議出臺相關政策制度，規(guī)范AI的使用等多個方面去考慮。
AI預測彩票號碼 算法編織的“暴富陷阱”
數(shù)據(jù)顯示，2025年一季度全國彩票銷售額1326億元，同比增長了15.7%。與此同時，“AI賦能”的目光也瞄準了彩票，網(wǎng)絡上出現(xiàn)了很多“AI預測彩票號碼”的視頻。
有人說，“AI可以破解彩票規(guī)律，預測彩票號碼?！庇腥苏f，“只要購買預測服務，就能輕松賺百萬！”也有人說，自己確實通過AI預測的彩票號碼中了獎。那么，AI真的可以預測彩票中獎號碼嗎？AI到底是通過什么原理、如何給出的彩票號碼？
薛智慧分析指出，通過AI算法生成彩票號碼的技術原理使用了數(shù)據(jù)分析、模式識別、概率統(tǒng)計等多項技術。
● 首先，利用算法對大量歷史開獎數(shù)據(jù)進行統(tǒng)計分析，尋找潛在的模式序列。
● 其次，通過模式識別技術對開獎數(shù)據(jù)中的數(shù)字頻率、冷熱號碼、趨勢變化等進行數(shù)據(jù)統(tǒng)計的特征提取和分析。
● 最后，基于提取的特征，通過概率統(tǒng)計技術生成所謂的“彩票開獎號碼”。
更進一步分析，從技術角度講，AI主要是通過學習歷史數(shù)據(jù)的規(guī)律來生成號碼，而生成彩票號碼是一個高度隨機的過程，理論上沒有預測的模式。因此，通過AI生成彩票中獎號碼是不可行的，根據(jù)AI給出的號碼中大獎無異于癡人說夢。
AI安全治理 需要從多個層面綜合施策
事實上，AI換臉換聲、AI生成虛假信息、AI預測彩票騙局，不是AI技術自身的問題，而是AI技術被濫用的問題。當前，AI前沿技術正處于高速發(fā)展時期，其應用場景也日趨多元，防范AI技術濫用已由個體權益侵害演變?yōu)橄到y(tǒng)性社會問題。
近年來，針對AI技術的應用邊界已經(jīng)在多項政策法規(guī)中逐步明確：
● 2022年，國家網(wǎng)信辦、工信部、公安部聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》，要求任何組織和個人不得利用深度合成服務制作、復制、發(fā)布、傳播法律行政法規(guī)禁止的信息。
● 2023年，國家網(wǎng)信辦等七部門聯(lián)合發(fā)布《生成式人工智能服務管理暫行辦法》，規(guī)定不得利用生成式人工智能服務生成虛假有害信息、從事違法活動。
● 2025年，國家網(wǎng)信辦等四部門發(fā)布的《人工智能生成合成內(nèi)容標識辦法》提出，對AI生成合成內(nèi)容要進行標識，以便公眾識別和區(qū)分，防止誤導性信息傳播。
“防范AI濫用需要構筑多方聯(lián)動的治理網(wǎng)絡，從法律、行業(yè)、平臺和公眾等多個層面綜合施策?！碧烊谛趴萍技瘓F副總裁、中國計算機學會計算機安全專業(yè)委員會委員呂延輝在采訪中指出。
在法律層面：應進一步完善相關立法，細化AI技術使用的各項法律條款，明確濫用AI技術的定義和責任，同時加強執(zhí)法力度。
在行業(yè)層面：應推動人工智能行業(yè)組織加強自律管理，制定相關標準和規(guī)范來約束AI技術開發(fā)和應用，減少不法分子利用AI技術進行詐騙的機會。
在平臺層面：需要平臺企業(yè)嚴格依照國家網(wǎng)信辦發(fā)布的《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》，履行信息內(nèi)容管理主體責任，建立健全內(nèi)容審核和投訴舉報機制，并結合應用適當?shù)募夹g手段，及時發(fā)現(xiàn)并依法處置虛假宣傳和欺詐行為。
在公眾層面：增加公眾對AI技術健康使用的認知和理解，消除公眾對“技術捷徑”的幻想，提升公眾的防范意識。
我國相關法律法規(guī)明確規(guī)定，未經(jīng)授權，任何組織或個人不得深度合成制作發(fā)布他人信息。使用AI深度合成技術，制作出售名人的音視頻，將構成侵權行為，應該承擔相應的法律責任。
小天建議AI深度合成制作和信息發(fā)布者
不要存僥幸心理
法律沒有灰色地帶，切勿因小失大
隨著AI技術的快速發(fā)展和廣泛應用，遏制AI技術濫用風險，促進AI技術向善，已經(jīng)成為全社會的共同責任。天融信將與業(yè)界同仁一道，攜手構建安全可信的AI生態(tài)，讓AI技術真正成為推動社會進步的普惠能量。
部分來源：央視新聞客戶端
相關閱讀
1、持續(xù)領先！天融信獲首張大模型安全防護圍欄產(chǎn)品認證（增強級）證書
2、天融信李雪瑩：保障大模型應用安全應把握“快、新、全”三大原則
