目錄
違法視頻搬運軟件是網絡爬蟲
如何發現偷盜視頻的爬蟲？
攔截違法網絡爬蟲
央視《今日說法》欄目近日報道了一名程序員開發非法視頻搬運軟件獲利超700多萬，最終獲刑的案例。
國內某知名短視頻平臺報警稱，有人在網絡上售賣一款視頻搬運軟件，使用軟件的人可以繞過平臺的審核機制，一鍵“搬運”竊取他人作品非法轉載投稿。警方調查發現，在這背后是一條違法犯罪的產業鏈條，犯罪團伙的上游開發制作非法軟件，通過更改短視頻平臺的代碼，逃避平臺監管。
犯罪嫌疑人 90 后程序員周某交代，這款軟件主要用于非法搬運視頻，支持視頻鏡像，去水印，草稿替換，攝像頭替換等功能，修改后的視頻支持在快手、抖音、嗶哩嗶哩、小紅書、西瓜視頻等主流視頻平臺一鍵發布，從而協助他人實現賬號“快速漲粉”目的。從 2022 年 5 月到20 23 年 3 月份，周某累計獲利 700 多萬元。目前周某已被判有期徒刑 3 年、緩刑 5 年；而負責軟件銷售的從犯陳某被判有期徒刑 3 年、緩刑 3 年 2 個月。
違法視頻搬運軟件是網絡爬蟲
該案件中，非法下載視頻內容的軟件是網絡爬蟲。網絡爬蟲，又被稱為網頁蜘蛛，網絡機器人，是按照一定的規則，自動地抓取網絡信息和數據的程序或者腳本。
2022年11月，頂象防御云業務安全情報披露，某社交媒體平臺遭遇持續性的網絡爬蟲盜取。大量用戶信息和原創內容被網絡爬蟲盜取，被黑灰產轉售給競爭對手或直接用于惡意營銷。
數據顯示，2023年全球數據盜取量將達到1900億條，其中超過80%的數據來自網絡爬蟲。網絡爬蟲通常會通過編程的方式自動訪問網站，獲取用戶信息或數據。這類行為不僅侵犯了用戶的隱私，也給企業造成了巨大的經濟損失。
如何發現偷盜視頻的爬蟲？
現在的網絡爬蟲程序具有隨機 IP 地址、匿名代理、身份修改、模仿人類操作行為等特征，非常難檢測和阻止，需要在多個維度進行識別與分析。
一是訪問目標。惡意的網絡爬蟲的目的是獲取網站、App的核心信息，比如用戶數據、商品價格、評論內容等，因此它們通常只會訪問包含這些信息的頁面，而忽略其他無關的頁面。
二是訪問行為。網絡爬蟲是由程序自動執行的，按照預設的流程和規則進行訪問，因此它們的行為具有明顯的規律性、節奏性和一致性，與正常用戶的隨機性、靈活性和多樣性有很大差異。
三是訪問設備。惡意的網絡爬蟲的目標是在最短時間內抓取最多信息，因此它們會使用同一設備進行大量的訪問操作，包括瀏覽、查詢、下載等，這會導致該設備的訪問頻率、時長、深度等指標異常。
四是訪問IP地址。惡意的網絡爬蟲為了避免被網站識別和封禁，會采用各種手段變換IP地址，比如使用云服務、路由器、代理服務器等。這會導致該IP地址的來源地域、運營商、網絡類型等信息不一致，或者與正常用戶的分布有明顯偏差。
五是訪問時間段。惡意的網絡爬蟲為了減少被發現的風險，通常會選擇在網站流量較低、監控較弱的時間段進行批量爬取，比如深夜、凌晨等。這會導致該時間段內的訪問量、帶寬占用等指標異常。
六是大數據建模挖掘。通過對網站正常用戶和網絡爬蟲的訪問數據進行收集、處理、挖掘和建模，可以構建出專屬于網站自身的爬蟲識別模型，從而提高識別準確率和效率。
攔截違法網絡爬蟲
網絡爬蟲的攻擊手段也日益智能化和復雜化，僅僅依靠限制訪問頻率或者前端頁面加密已經難以有效防御，需要提升人機識別技術，增加異常行為的識別和攔截能力，以限制網絡爬蟲的訪問，提高惡意盜取的攻擊成本。頂象為企業提供了全流程的立體防控方案，能夠有效防范網絡爬蟲的惡意盜取行為。
頂象無感驗證基于AIGC技術，能夠防止AI的暴力破解、自動化攻擊和釣魚攻擊等威脅，有效防止未經授權的訪問、攔截網絡爬蟲盜取。它集成了13種驗證方式和多種防控策略，支持安全用戶無感通過，實時對抗處置能力也縮減至60s內，進一步提高了數字登錄服務體驗的便捷性和效率。
頂象設備指紋通過將多端設備信息的內部打通，對每個設備生成統一且唯一設備指紋。基于設備、環境、行為的多維度識別策略模型，識別出虛擬機、代理服務器、模擬器等被惡意操控等風險設備，分析設備是否存在多賬號登錄、是否頻繁更換IP地址、頻是否繁更換設備屬性等出現異常或不符合用戶習慣的行為，快速識別訪問頁面爬蟲是否來自惡意設備。
頂象Dinsight實時風控引擎幫助企業進行風險評估、反欺詐分析和實時監控，提高風控的效率和準確性。Dinsigh的日常風控策略的平均處理速度在100毫秒以內，支持多方數據的配置化接入與沉淀，能夠基于成熟指標、策略、模型的經驗儲備，以及深度學習技術，實現風控自我性能監控與自迭代的機制。
與Dinsight搭配的Xintell智能模型平臺，能夠對已知風險進行安全策略自動優化，基于風控日志和數據挖掘潛在風險，一鍵配置不同場景支持風控策略。其基于關聯網絡和深度學習技術，將復雜的數據處理、挖掘、機器學習過程標準化，提供從數據處理、特征衍生、模型構建到最終模型上線的一站式建模服務。從而有效挖掘潛在惡意爬取威脅，進一步提升對惡意盜取行為的識別度和對惡意網絡爬蟲的攔截效果。
