過(guò)去五年來(lái)，安全數(shù)據(jù)收集，處理和分析已經(jīng)爆炸式增長(zhǎng)。

實(shí)際上，最近通過(guò)ESG對(duì)安全分析的研究發(fā)現(xiàn)，28%的組織聲稱他們收集、處理和分析的安全數(shù)據(jù)明顯多于兩年前，而另外49%的組織正在收集、處理和分析更多的數(shù)據(jù)。

　　什么類(lèi)型的數(shù)據(jù)?包括你的名字、網(wǎng)絡(luò)元數(shù)據(jù)、端點(diǎn)活動(dòng)數(shù)據(jù)、威脅情報(bào)、DNS/DHCP、業(yè)務(wù)應(yīng)用數(shù)據(jù)等。

此外，我們不要忘記來(lái)自IaaS、PaaS和SaaS的安全數(shù)據(jù)的沖擊。

　　大規(guī)模安全數(shù)據(jù)增長(zhǎng)的后果　　安全數(shù)據(jù)的大量增長(zhǎng)帶來(lái)了許多后果，包括以下方面:　　1. 需要更好的安全數(shù)據(jù)建模和管理。

　　根據(jù)SAS軟件，大約80%的時(shí)間花在數(shù)據(jù)分析上，用于數(shù)據(jù)建模和管理。

隨著網(wǎng)絡(luò)安全數(shù)據(jù)量的增長(zhǎng)，我注意到這方面的趨勢(shì)。

組織正在花費(fèi)更多的時(shí)間來(lái)確定要收集什么數(shù)據(jù)、需要什么數(shù)據(jù)格式、在哪里以及如何路由數(shù)據(jù)、數(shù)據(jù)重復(fù)刪除、數(shù)據(jù)壓縮、數(shù)據(jù)加密、數(shù)據(jù)存儲(chǔ)等。

　　基于對(duì)數(shù)據(jù)管理的日益增長(zhǎng)的需求，ESG的安全操作和分析平臺(tái)體系結(jié)構(gòu)(SOAPA)由一個(gè)公共分布式數(shù)據(jù)管理層來(lái)支持，該層旨在為所有安全數(shù)據(jù)提供這些類(lèi)型的數(shù)據(jù)管理服務(wù)。

由于大多數(shù)組織都在逐步采用SOAPA，所以應(yīng)該盡早考慮安全分析數(shù)據(jù)模型。

簡(jiǎn)單地說(shuō)，考慮一下您想要完成什么，然后返回到所需的數(shù)據(jù)源。

　　2. 尋求數(shù)據(jù)合成，豐富和語(yǔ)境化。

　　所有安全數(shù)據(jù)元素都可以彼此關(guān)聯(lián)，但是說(shuō)起來(lái)容易做起來(lái)難。

在過(guò)去，許多組織依賴于安全人員和電子表格來(lái)關(guān)聯(lián)由不同分析工具生成的安全事件和警報(bào)。

當(dāng)網(wǎng)絡(luò)流量分析(NTA)工具檢測(cè)到可疑的流量時(shí)，分析人員獲取源IP地址，調(diào)查DHCP服務(wù)器的IP租用歷史，找出涉及到哪個(gè)設(shè)備，然后挖掘該設(shè)備發(fā)出的歷史日志文件。

　　考慮到這些手工任務(wù)的低效性，我們已經(jīng)看到點(diǎn)對(duì)點(diǎn)分析工具集成的增加，以及對(duì)像SOAPA那樣的架構(gòu)集成的更大需求。

行為分析，如用戶和實(shí)體行為分析(UEBA)，通過(guò)一系列嵌套機(jī)器學(xué)習(xí)(ML)算法注入多個(gè)同時(shí)發(fā)生的安全數(shù)據(jù)事件，顯示了一些數(shù)據(jù)綜合的前景。

是的，行為分析是一項(xiàng)正在進(jìn)行的工作，但我看到的最近的創(chuàng)新和進(jìn)步讓我感到鼓舞。

　　3. 高性能的要求。

　　大型組織正在監(jiān)視數(shù)以萬(wàn)計(jì)的系統(tǒng)，每秒生成超過(guò)20,000個(gè)事件，并且每天收集TB級(jí)的數(shù)據(jù)。

該數(shù)據(jù)量需要高效的數(shù)據(jù)管道和正確的網(wǎng)絡(luò)、服務(wù)器和存儲(chǔ)基礎(chǔ)設(shè)施來(lái)實(shí)時(shí)移動(dòng)、處理和分析這些數(shù)據(jù)。

為了滿足實(shí)時(shí)數(shù)據(jù)管道的需要，我看到了Kafka消息總線的廣泛應(yīng)用。

不要忘記，我們需要足夠的馬力來(lái)查詢TB到PB的歷史安全數(shù)據(jù)，以用于事件響應(yīng)和回顧性調(diào)查。

這種需求導(dǎo)致了基于開(kāi)源(如ELK stack、Hadoop等)和商業(yè)產(chǎn)品的安全數(shù)據(jù)湖的激增。

　　4. AI。

　　好消息是：所有這些數(shù)據(jù)為數(shù)據(jù)科學(xué)家提供了充分的機(jī)會(huì)，可以創(chuàng)建和測(cè)試數(shù)據(jù)模型，開(kāi)發(fā)ML算法，并對(duì)其進(jìn)行高精度調(diào)整。

壞消息是，我們剛剛開(kāi)始合并數(shù)據(jù)科學(xué)家和安全專(zhuān)業(yè)知識(shí)，以開(kāi)發(fā)用于安全分析的AI。

進(jìn)步的首席信息安全官具有現(xiàn)實(shí)的態(tài)度。

他們的希望是AI / ML可以通過(guò)提供更多背景證據(jù)，增加風(fēng)險(xiǎn)評(píng)分環(huán)境等來(lái)提高個(gè)人安全警報(bào)的保真度。

換句話說(shuō)，AI / ML充當(dāng)智能防御層，而不是獨(dú)立的無(wú)所不知的安全性分析神。

　　5. 基于云計(jì)算的安全分析。

　　毫無(wú)疑問(wèn)，許多組織正在質(zhì)疑,將大量資源僅用于收集、處理和存儲(chǔ)TB甚至PB級(jí)的安全數(shù)據(jù)作為現(xiàn)代安全數(shù)據(jù)分析需求的先決條件是否明智。

使用大規(guī)模的、可伸縮的基于云的資源不是更容易嗎?根據(jù)我對(duì)市場(chǎng)的觀察，答案是肯定的。

IBM和Splunk報(bào)告稱，它們?cè)诨谠频腟IEM方面增長(zhǎng)強(qiáng)勁。

SumoLogic聲稱擁有超過(guò)2000名客戶，而谷歌(Chronicle Backstory)和微軟(Azure Sentinel)則是基于云的安全分析領(lǐng)域的新亮點(diǎn)。

期待亞馬遜也加入這個(gè)行列。

隨著安全數(shù)據(jù)的不斷增長(zhǎng)，安全分析向云的“提升和轉(zhuǎn)移”只會(huì)獲得動(dòng)力。

　　著名科技作家杰弗里·摩爾曾說(shuō)過(guò):“沒(méi)有大數(shù)據(jù)分析，公司就會(huì)變得又瞎又聾，像高速公路上的鹿一樣在網(wǎng)上游蕩。

”雖然摩爾在談?wù)摼W(wǎng)絡(luò)的早期，但這句話同樣適用于安全分析。

是的，組織可以極大地提高其降低風(fēng)險(xiǎn)、檢測(cè)/響應(yīng)威脅以及通過(guò)強(qiáng)大的安全分析自動(dòng)化安全操作的能力。

然而，為了實(shí)現(xiàn)這些結(jié)果，CISO必須從一開(kāi)始就對(duì)安全數(shù)據(jù)建模、管道和管理進(jìn)行充分的規(guī)劃和工作。