項目介紹

Project Introduction

當前網(wǎng)絡(luò)技術(shù)的應(yīng)用在給人們帶來巨大便利的同時,也讓人們處在網(wǎng)絡(luò)安全隱患威脅當中。尤其是隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)應(yīng)用范圍的不斷擴大,網(wǎng)絡(luò)安全方面存在的漏洞越來越多。在大數(shù)據(jù)時代,為了滿足人們從互聯(lián)網(wǎng)上快速,便捷地獲取信息的需求但不被惡意應(yīng)用,反爬蟲系統(tǒng)能夠在網(wǎng)絡(luò)安全維護方面起到十分積極的作用。鑒于此,對大數(shù)據(jù)時代的數(shù)據(jù)爬取問題進行了分析,并對惡意爬蟲進行了解決。

產(chǎn)品功能

Product Features

Web防護
CC防護
防掃描
一鍵關(guān)停
漏洞防護
實時告警

訪問數(shù)據(jù)獲取

數(shù)據(jù)獲取是做好反爬蟲系統(tǒng)的關(guān)鍵。
采集用戶的訪問數(shù)據(jù)，用來做爬蟲分析的數(shù)據(jù)源。
爬蟲封禁

當找到爬蟲后，想辦法去阻斷它后續(xù)的訪問。反爬蟲最后的生效，需要靠合理的封禁模式：基于iptables的方案，依賴少，可以通過簡單配置linux就能達到效果。
爬蟲分析

要能精確的分析爬蟲，需要強大的數(shù)據(jù)分析平臺和規(guī)則引擎，來分析這個IP/設(shè)備/用戶分別在短時間區(qū)間/長時間范圍里的行為特征和軌跡，這里涉及到復(fù)雜的數(shù)據(jù)系統(tǒng)開發(fā)。
強化數(shù)據(jù)源、規(guī)則引擎和模型

通過流量獲得全量數(shù)據(jù)。目前爬蟲等網(wǎng)絡(luò)攻擊逐漸轉(zhuǎn)向業(yè)務(wù)密切相關(guān)的部分，所以需要更多的業(yè)務(wù)數(shù)據(jù)去支撐，而不僅僅是訪問日志。考察更多用戶行為的特征。