安全審計(jì)新挑戰(zhàn),上億級(jí)數(shù)據(jù)如何實(shí)現(xiàn)秒級(jí)查詢?
數(shù)字經(jīng)濟(jì)時(shí)代,隨著大模型、5G、云計(jì)算等新型技術(shù)飛速發(fā)展,各類(lèi)業(yè)務(wù)數(shù)據(jù)規(guī)模呈爆發(fā)式增長(zhǎng),導(dǎo)致數(shù)據(jù)安全審計(jì)的數(shù)據(jù)來(lái)源也日趨多樣化,而且數(shù)量極為龐大。數(shù)據(jù)量越大、審計(jì)查尋難度也呈指數(shù)級(jí)攀升。
如何在上億級(jí)數(shù)據(jù)中
安全、快速、精準(zhǔn)地找到想要的數(shù)據(jù)
始終是企業(yè)最關(guān)心的問(wèn)題
目前公開(kāi)討論和應(yīng)用的審計(jì)查詢技術(shù)大致有建立索引、分庫(kù)分表、使用緩存、優(yōu)化SQL語(yǔ)句、使用高性能硬件、分布式計(jì)算、數(shù)據(jù)分區(qū)、讀寫(xiě)分離等,上述技術(shù)各有限制,大部分需要重構(gòu)現(xiàn)有數(shù)據(jù)存儲(chǔ)架構(gòu)來(lái)實(shí)現(xiàn),企業(yè)很難在短時(shí)間內(nèi)完成配置。
面向客戶實(shí)際需求,天融信數(shù)據(jù)庫(kù)審計(jì)系統(tǒng)持續(xù)創(chuàng)新迭代,設(shè)計(jì)高效數(shù)據(jù)查詢統(tǒng)計(jì)引擎,從算法優(yōu)化、檢索模式、查詢能力、入庫(kù)性能層面出發(fā),實(shí)現(xiàn)即查即統(tǒng),從上億級(jí)的審計(jì)數(shù)據(jù)中秒級(jí)定位客戶關(guān)注的數(shù)據(jù),極大提升客戶使用體驗(yàn)。
依托天問(wèn)大模型,天融信數(shù)據(jù)庫(kù)審計(jì)系統(tǒng)還可實(shí)現(xiàn)基于AI的海量數(shù)據(jù)分析和智能AI交互,包含數(shù)據(jù)檢索分析、數(shù)據(jù)風(fēng)險(xiǎn)結(jié)果獲取、異常高危操作查看等,高效掌握數(shù)據(jù)庫(kù)資產(chǎn)安全態(tài)勢(shì),提升系統(tǒng)運(yùn)維管理效率。
一、引入列式存儲(chǔ)引擎
在審計(jì)數(shù)據(jù)存儲(chǔ)時(shí)選擇列式存儲(chǔ),具備按列存儲(chǔ)、數(shù)據(jù)壓縮、多核心并行處理、向量引擎等特性,適用于高速寫(xiě)入、數(shù)據(jù)海量查詢與統(tǒng)計(jì)場(chǎng)景,極大提升了審計(jì)數(shù)據(jù)的寫(xiě)入和查詢性能。
二、內(nèi)置自學(xué)習(xí)數(shù)據(jù)提取引擎
系統(tǒng)內(nèi)置自學(xué)習(xí)數(shù)據(jù)提取引擎,對(duì)異常查詢、風(fēng)險(xiǎn)統(tǒng)計(jì)、告警查詢、多維分析等重點(diǎn)功能預(yù)先形成數(shù)據(jù)提取算法,還可通過(guò)學(xué)習(xí)操作員日常的查詢和數(shù)據(jù)統(tǒng)計(jì)習(xí)慣,自動(dòng)提取并生成數(shù)據(jù)提取算法,提高日常高頻率查詢效能。針對(duì)采用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)的歷史設(shè)備,引擎可快速提取出客戶最關(guān)心的數(shù)據(jù),有效應(yīng)對(duì)使用時(shí)間較長(zhǎng)、歷史數(shù)據(jù)量大、關(guān)心數(shù)據(jù)較為固定等場(chǎng)景。
三、建立預(yù)統(tǒng)計(jì)數(shù)據(jù)表
根據(jù)客戶日常統(tǒng)計(jì)分析行為,系統(tǒng)可預(yù)先建立統(tǒng)計(jì)數(shù)據(jù)表。當(dāng)出現(xiàn)長(zhǎng)時(shí)間段的多條件精細(xì)查詢時(shí),如源IP、數(shù)據(jù)庫(kù)名、操作類(lèi)型、告警級(jí)別等,優(yōu)先查詢預(yù)統(tǒng)計(jì)數(shù)據(jù)表,提高匹配數(shù)據(jù)概率,極大提高查詢速度。
截至目前,高效數(shù)據(jù)查詢統(tǒng)計(jì)引擎已經(jīng)廣泛應(yīng)用于天融信數(shù)據(jù)庫(kù)審計(jì)、數(shù)據(jù)庫(kù)審計(jì)與防護(hù)、網(wǎng)絡(luò)數(shù)據(jù)防泄漏、網(wǎng)絡(luò)審計(jì)等相關(guān)產(chǎn)品,高效率應(yīng)對(duì)大量審計(jì)和監(jiān)測(cè)數(shù)據(jù)的查詢和統(tǒng)計(jì),并成功在政府、金融、能源、醫(yī)療、教育等行業(yè)落地實(shí)踐,持續(xù)賦能客戶數(shù)字化轉(zhuǎn)型。
當(dāng)前,數(shù)據(jù)要素已成為數(shù)字經(jīng)濟(jì)深入發(fā)展的核心引擎,發(fā)揮“數(shù)據(jù)要素×”的倍增效應(yīng),促進(jìn)數(shù)字經(jīng)濟(jì)深度賦能實(shí)體經(jīng)濟(jì),對(duì)于加速形成新質(zhì)生產(chǎn)力具有重要作用。天融信始終堅(jiān)持將自主創(chuàng)新融入安全技術(shù)、應(yīng)用場(chǎng)景、產(chǎn)業(yè)生態(tài),持續(xù)加強(qiáng)關(guān)鍵核心技術(shù)攻關(guān)能力,筑牢可信可控的數(shù)字安全屏障,助力數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展。