在科技日新月異的今天

AI作為引領(lǐng)未來(lái)的戰(zhàn)略性技術(shù)

正加速驅(qū)動(dòng)新一輪科技革命和產(chǎn)業(yè)變革

從文本、語(yǔ)音到圖像、視頻

多模態(tài)AI不僅重塑了人機(jī)交互的邊界

更孕育出全新的“智能體”形態(tài)

AI日漸成為構(gòu)建萬(wàn)物互聯(lián)世界的關(guān)鍵一環(huán)

如何確保AI技術(shù)安全、可靠、可控

值得各界持續(xù)關(guān)注、協(xié)同共治、防范化解

近日，《人民日?qǐng)?bào)》學(xué)術(shù)版聚焦“深化人工智能安全監(jiān)管”話題，整版刊登了三位知名學(xué)者的見(jiàn)解，引發(fā)熱議。在剛剛結(jié)束的2024年世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)上，人工智能安全、風(fēng)險(xiǎn)問(wèn)題再次受到廣泛關(guān)注。

作為網(wǎng)絡(luò)安全頭部企業(yè)，天融信始終認(rèn)為，AI技術(shù)發(fā)展和其他新興技術(shù)一樣，也是一把“雙刃劍”。在推動(dòng)AI技術(shù)創(chuàng)新的過(guò)程中，安全始終是最根本的保障。

AI安全風(fēng)險(xiǎn)和挑戰(zhàn)日益嚴(yán)峻 | 未雨綢繆勢(shì)在必行

今年是中國(guó)全功能接入國(guó)際互聯(lián)網(wǎng)30周年，AI成為中國(guó)互聯(lián)網(wǎng)發(fā)展的新引擎。無(wú)論是智能制造、智能駕駛，還是智慧醫(yī)療、智慧城市，AI技術(shù)的廣泛應(yīng)用為經(jīng)濟(jì)社會(huì)帶來(lái)了巨大的變革。然而，隨著AI應(yīng)用場(chǎng)景日漸豐富，產(chǎn)業(yè)生態(tài)持續(xù)完善，基于AI的機(jī)器學(xué)習(xí)、通用大模型、智能體、具身智能等融入互聯(lián)網(wǎng)，技術(shù)復(fù)雜性和依賴性不斷增加，帶來(lái)的安全風(fēng)險(xiǎn)也日益突出，必須提前布局安全對(duì)策。

對(duì)抗樣本和多模態(tài)攻擊

挑戰(zhàn)描述：利用圖像、聲音、文本等多種形式的數(shù)據(jù)組合，通過(guò)在數(shù)據(jù)中添加干擾，精心設(shè)計(jì)復(fù)雜的對(duì)抗性樣本，誘導(dǎo)AI系統(tǒng)做出錯(cuò)誤判斷。

應(yīng)對(duì)策略：以先進(jìn)的數(shù)據(jù)增強(qiáng)和對(duì)抗訓(xùn)練技術(shù)為盾，增強(qiáng)AI模型的魯棒性，讓模型學(xué)會(huì)更好地抵御對(duì)抗性攻擊和異常輸入，守護(hù)多模態(tài)安全。

模型盜用和逆向工程

挑戰(zhàn)描述：黑客利用逆向工程技術(shù)，竊取AI模型的核心參數(shù)，構(gòu)建相似系統(tǒng)以繞過(guò)安全檢測(cè)，利用模型輸出結(jié)果等反向推導(dǎo)出客戶隱私數(shù)據(jù)。

應(yīng)對(duì)策略：采用加密技術(shù)為AI模型參數(shù)穿上“隱身衣”，同時(shí)實(shí)施嚴(yán)格的訪問(wèn)控制策略，限制只有經(jīng)過(guò)授權(quán)的人員才能訪問(wèn)和修改AI系統(tǒng)模型。

數(shù)據(jù)與隱私泄露

挑戰(zhàn)描述：人工智能算法和模型依賴于大量訓(xùn)練數(shù)據(jù)，一旦發(fā)生隱私泄露，犯罪分子可以通過(guò)聲音仿真、AI換臉等手段實(shí)施詐騙。

應(yīng)對(duì)策略：運(yùn)用差分隱私技術(shù)，在保護(hù)客戶隱私的同時(shí)，確保數(shù)據(jù)能夠用于訓(xùn)練高質(zhì)量的AI模型，實(shí)現(xiàn)安全與效率的雙重保障。

法律與倫理困境

挑戰(zhàn)描述：AI系統(tǒng)模糊了物理現(xiàn)實(shí)、數(shù)字和個(gè)人的界限，由于其決策過(guò)程缺乏透明度，導(dǎo)致責(zé)任歸屬不清，引發(fā)法律與倫理爭(zhēng)議。

應(yīng)對(duì)策略：通過(guò)可解釋性AI技術(shù)，提高AI系統(tǒng)的透明度，讓用戶能夠理解AI決策背后的邏輯，從而增強(qiáng)系統(tǒng)的可信度和合規(guī)性。

構(gòu)建安全體系框架 | 護(hù)航AI系統(tǒng)全生命周期安全

為應(yīng)對(duì)日益復(fù)雜的AI安全風(fēng)險(xiǎn)，需要構(gòu)建系統(tǒng)性、全局化、多維度的安全體系框架。憑借在“AI+安全”領(lǐng)域十余年的行業(yè)經(jīng)驗(yàn)，天融信基于對(duì)AI安全風(fēng)險(xiǎn)的深入研究，構(gòu)建以安全可靠、公平可信、透明可解釋、數(shù)據(jù)隱私保護(hù)和溯源審計(jì)為核心的人工智能安全體系框架，圍繞人工智能系統(tǒng)從開(kāi)發(fā)、部署到應(yīng)用的全生命周期，全方位護(hù)航AI的安全應(yīng)用和健康發(fā)展。

● 監(jiān)督管理

遵循《生成式人工智能服務(wù)管理暫行辦法》《生成式人工智能服務(wù)安全基本要求》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等法規(guī)政策和標(biāo)準(zhǔn)規(guī)范，確保AI技術(shù)的開(kāi)發(fā)與應(yīng)用始終合法合規(guī)。通過(guò)國(guó)家層面的政策法規(guī)與企業(yè)層面的管理制度，為AI安全措施的有效實(shí)施提供堅(jiān)實(shí)保障。

● 技術(shù)防護(hù)

采用多層次AI安全技術(shù)，全面抵御各類安全風(fēng)險(xiǎn)，具體包括：利用加密技術(shù)和訪問(wèn)控制策略，防止數(shù)據(jù)泄露和濫用；依賴加密算法、模型防篡改等技術(shù)，確保模型在訓(xùn)練和推理過(guò)程中的安全性和可靠性；通過(guò)嚴(yán)格的權(quán)限管理和訪問(wèn)控制，防止未經(jīng)授權(quán)的訪問(wèn)和操作；通過(guò)安全性審查和代碼審查，確保AI框架本身不被惡意利用或攻擊；通過(guò)硬件、軟件、網(wǎng)絡(luò)等多方面安全防護(hù)措施，確保系統(tǒng)安全穩(wěn)定運(yùn)行。

● 運(yùn)營(yíng)保障

重視AI開(kāi)發(fā)安全、AI運(yùn)行安全和AI供應(yīng)鏈安全，全方位保障AI系統(tǒng)全生命周期安全，具體措施包括：關(guān)注代碼審查和安全測(cè)試，通過(guò)持續(xù)集成和部署流程，有效防止安全漏洞和缺陷的產(chǎn)生；通過(guò)實(shí)時(shí)監(jiān)控、日志分析和異常檢測(cè)等手段，及時(shí)發(fā)現(xiàn)和處理安全事件；通過(guò)嚴(yán)格的供應(yīng)鏈管理、供應(yīng)商評(píng)估和合規(guī)性審查，確保供應(yīng)鏈中的每個(gè)環(huán)節(jié)都符合安全標(biāo)準(zhǔn)。此外，AI模型安全能力成熟度不斷提升，將助力企業(yè)持續(xù)優(yōu)化安全運(yùn)營(yíng)能力。

● 合規(guī)測(cè)評(píng)

注重合規(guī)管控，通過(guò)多維度措施確保AI系統(tǒng)在不同階段、不同層次的合規(guī)性。通過(guò)制定詳細(xì)的合規(guī)政策和管理體系，確保AI系統(tǒng)的設(shè)計(jì)和實(shí)施符合相關(guān)法律法規(guī)和行業(yè)標(biāo)準(zhǔn)的要求。同時(shí)，通過(guò)滲透測(cè)試、代碼審計(jì)和風(fēng)險(xiǎn)評(píng)估等評(píng)估手段，對(duì)AI系統(tǒng)進(jìn)行科學(xué)、準(zhǔn)確的安全評(píng)估，幫助企業(yè)及時(shí)發(fā)現(xiàn)并消除潛在安全隱患。

推進(jìn)“AI+安全”落地實(shí)踐 | 讓日益“智能”的網(wǎng)絡(luò)攻擊無(wú)處遁形

基于人工智能安全體系框架，天融信打造出完整的企業(yè)級(jí)“AI+安全”能力體系模型，為客戶提供全系統(tǒng)、全方位、全周期的AI安全解決方案。方案涵蓋威脅檢測(cè)、安全運(yùn)營(yíng)、知識(shí)問(wèn)答以及算力管理等多個(gè)維度，集智能檢測(cè)、響應(yīng)和學(xué)習(xí)于一體，支持隨時(shí)啟動(dòng)自動(dòng)防御和反擊程序，并通過(guò)自我學(xué)習(xí)成為客戶的得力助手，輔助安全決策和行動(dòng)，不斷提升安全防護(hù)的智能化水平。

● 火眼金睛：智能檢測(cè)與響應(yīng)

利用深度學(xué)習(xí)算法構(gòu)建智能檢測(cè)引擎，如同孫悟空的火眼金睛一般，通過(guò)實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)流量，快速識(shí)別惡意軟件、異常登錄等安全事件。在某能源公司的數(shù)據(jù)中心，天融信利用基于AI的樣本檢測(cè)、情報(bào)抽取與分析技術(shù)能力，協(xié)助客戶在第一時(shí)間發(fā)現(xiàn)并阻止?jié)撛谕{，有效避免了安全事件的發(fā)生。

● 自動(dòng)反擊：安全編排自動(dòng)化與響應(yīng)

針對(duì)復(fù)雜的安全事件處置流程，天融信開(kāi)發(fā)了融入AI的SOAR方案，可實(shí)現(xiàn)自動(dòng)化安全運(yùn)營(yíng)和智能化模型編排，通過(guò)多個(gè)安全工具的無(wú)縫集成與標(biāo)準(zhǔn)化、自動(dòng)化響應(yīng)，助力安全分析師從海量告警中精準(zhǔn)篩選出關(guān)鍵問(wèn)題，從而提高工作效率。在一次實(shí)際應(yīng)用中，一家大型零售商在促銷(xiāo)期間遭遇DDoS攻擊，天融信利用SOAR方案協(xié)助客戶迅速定位攻擊源并采取有效措施，短短幾分鐘便恢復(fù)了網(wǎng)站服務(wù)。

● 智能學(xué)習(xí)：用戶和實(shí)體行為分析

基于用戶和實(shí)體行為分析(UEBA)技術(shù)，可以利用先進(jìn)的AI算法，結(jié)合機(jī)器學(xué)習(xí)、建模分析、畫(huà)像檢測(cè)等技術(shù)構(gòu)建實(shí)體畫(huà)像，通過(guò)建立每個(gè)用戶和實(shí)體的行為安全基線，學(xué)習(xí)正常用戶操作模式，智能識(shí)別攻擊行為，及時(shí)發(fā)現(xiàn)并預(yù)警潛在內(nèi)部威脅。某運(yùn)營(yíng)商信息系統(tǒng)部署了融合AI和UEBA技術(shù)的數(shù)據(jù)安全監(jiān)測(cè)分析平臺(tái)，敏銳捕捉到了某員工賬戶的異常訪問(wèn)行為，最終揭露了一起內(nèi)部人員竊取敏感信息的惡性事件。

● 輔助運(yùn)營(yíng)：天融信天問(wèn)大模型

天融信天問(wèn)大模型集成了海量的安全數(shù)據(jù)和專業(yè)知識(shí)，具備知識(shí)生成和邏輯推理能力，同時(shí)運(yùn)用深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)，打造安全智能體，為安全管理者提供實(shí)時(shí)、精準(zhǔn)的決策支持。當(dāng)檢測(cè)到異常流量或潛在威脅時(shí)，天融信天問(wèn)大模型能夠迅速調(diào)用歷史數(shù)據(jù)，進(jìn)行深度分析，并推薦最佳應(yīng)對(duì)策略。

TOPSEC

未來(lái)，網(wǎng)絡(luò)安全建設(shè)將步入“人+機(jī)器”緊密協(xié)作的新紀(jì)元。在天融信看來(lái)，將安全技術(shù)與個(gè)性化需求深度融合，能夠讓AI安全日漸成為大眾日常生活的一部分。想象一下，當(dāng)你沉浸于工作中時(shí)，收到一封可疑郵件，你的手機(jī)立即溫馨提醒：“請(qǐng)注意！這封郵件可能包含詐騙信息?！边@樣的場(chǎng)景已經(jīng)不再遙不可及，而是天融信正在逐步實(shí)現(xiàn)的愿景。

AI網(wǎng)絡(luò)安全不是單打獨(dú)斗的競(jìng)技場(chǎng)，而是需要全體參與者并肩作戰(zhàn)的集體戰(zhàn)斗。面對(duì)這一充滿挑戰(zhàn)與機(jī)遇的行業(yè)新風(fēng)口，天融信愿與業(yè)界同仁攜手攻堅(jiān)，共同構(gòu)建以安全為核心的AI創(chuàng)新發(fā)展新格局，推動(dòng)AI技術(shù)更廣泛、更深遠(yuǎn)地應(yīng)用于社會(huì)生活的各個(gè)層面，為我國(guó)數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展提供強(qiáng)有力的支撐。