天融信發(fā)布《大模型組件漏洞與應(yīng)用威脅安全研究報告》?
近年來，大模型呈現(xiàn)出蓬勃發(fā)展的態(tài)勢，為人工智能行業(yè)的技術(shù)進步源源不斷地注入創(chuàng)新活力。然而，在大模型開發(fā)者致力于提升模型效果、拓展模型能力的同時，大模型的安全性問題也不容忽視，亟待給予高度關(guān)注。
隨著大模型架構(gòu)復(fù)雜性持續(xù)提升，其面臨的攻擊面不斷增多。究其根本，導(dǎo)致缺陷與漏洞頻發(fā)的主要原因，或是因為AI技術(shù)的快速發(fā)展與部分開發(fā)者“功能優(yōu)先、安全滯后”的觀念。
其一，AI模型作為高度復(fù)雜的代碼系統(tǒng)，其龐大的參數(shù)規(guī)模和交互接口為潛在攻擊者提供了豐富的攻擊面。
其二，在激烈的市場競爭壓力下，許多開發(fā)團隊將研發(fā)速度置于安全考量之上，直接導(dǎo)致安全防護機制在設(shè)計初期的系統(tǒng)性缺失。研究表明，當研發(fā)工作的首要目標是迭代速度時，安全評估往往被壓縮至產(chǎn)品發(fā)布前的最后階段，甚至完全被忽視。這種開發(fā)模式雖然能夠在短期內(nèi)實現(xiàn)技術(shù)突破，卻使得AI系統(tǒng)暴露在諸多潛在威脅之下，為后續(xù)的安全事故埋下隱患。這些風險不僅威脅到模型的可靠性，還可能對數(shù)據(jù)隱私、系統(tǒng)安全以及社會倫理產(chǎn)生深遠影響。
《大模型組件漏洞與應(yīng)用威脅安全研究報告》
全流程解析大模型潛在漏洞
基于以上背景，天融信第一時間組織安全團隊針對大模型漏洞進行深入研究，并發(fā)布《大模型組件漏洞與應(yīng)用威脅安全研究報告（2025）》（以下簡稱《報告》），全流程解析大模型潛在漏洞及其影響，并提出相應(yīng)的安全建議。
《報告》在大模型開發(fā)、部署階段，重點對模型推理優(yōu)化部署、模型訓(xùn)練微調(diào)、模型應(yīng)用框架、其他大模型相關(guān)組件工具進行漏洞分析；在大模型使用階段，主要針對大模型的語義操控突破安全限制生成違規(guī)內(nèi)容、配置缺陷泄露敏感信息、Prompt注入利用輸入劫持模型行為執(zhí)行惡意指令等方面進行漏洞研究。
TOPSEC
《報告》認為大模型安全問題體現(xiàn)在多個層面。其在部署階段的安全漏洞與傳統(tǒng)網(wǎng)絡(luò)安全的通用漏洞高度相似。但在使用階段，則存在其特有的內(nèi)容安全問題，這些漏洞可能源于模型本身的特性。例如生成內(nèi)容的不可控性、對輸入指令的過度依賴，以及多模態(tài)交互中的潛在風險。
此外，AI模型的部署環(huán)境復(fù)雜多樣，系統(tǒng)級的安全漏洞可能帶來新的攻擊向量。例如，AI系統(tǒng)的基礎(chǔ)設(shè)施或與外部數(shù)據(jù)源的連接可能成為攻擊者的突破口。
對于大模型所涉及組件，需從整體上重視安全建設(shè)，構(gòu)建多層次、多維度的防御體系。有研究資料表明，在學(xué)術(shù)界中當前大模型攻防研究約60%集中在攻擊方法上，而防御相關(guān)研究僅占40%，更多是“被動應(yīng)對”而非“主動防御”。
對于大模型使用安全，需要強調(diào)模型開源、提供專用安全API以及建立開源安全平臺，以構(gòu)建更安全可信的人工智能生態(tài)系統(tǒng)。如清華團隊最近推出“安全增強版 DeepSeek”，開源不僅能夠促進技術(shù)透明性，還能吸引更多研究者參與防御技術(shù)的開發(fā)與優(yōu)化。
對于個人或企業(yè)部署大模型，提高警惕性和持續(xù)監(jiān)控都是實現(xiàn)安全有效防護的關(guān)鍵環(huán)節(jié)。首先，部署時應(yīng)嚴格審查組件和工具的來源，避免使用不可信的資源，以降低遭受安全攻擊的風險。其次，持續(xù)關(guān)注組件安全情報，及時修復(fù)已知漏洞，避免成為Nday漏洞攻擊的目標。
相關(guān)閱讀
2、天融信：DeepSeek行業(yè)應(yīng)用加速，大模型安全“短板”亟待補齊！
