黑暗中的爆破(船訊網Ais爬蟲暨爬蟲實戰js逆向學習經驗分享)

事先聲明:本文章所獲得的信息均通過合法手段獲得(本人為政府部門工作,爬蟲行為均經過授權),爬蟲需遵守各項法律法規,不該爬取的信息不爬。
最近因為做博士畢業設計需要用到ais信息,但在船訊網爬取ais的時候遇到了問題,因為之前爬取的人太多,所以網站加上了反爬措施,csdn上之前的代碼全都不能用了,但在我孜孜不倦的嘗試和學習下,攻克了這一難關,在學習的過程中自己的爬蟲技術也獲得了很大的進展,現將經驗分享如下。
一:初級解決方案(爬蟲入門級玩家)。我們使用簡單的代碼轉換器和搜索接口,或者使用簡單xpath工具,以及正則匹配和數據庫(或者csv,能存儲數據就行),可以獲得我們想要的ais信息,并將它編寫成代碼。

import requests
import csv
#爬蟲謹慎使用!爬蟲過多使用會導致網站反爬修改代碼導致爬蟲失效!
'''
出現PermissionError: [Errno 13] Permission denied: 'ais.csv'
是因為將數據文件ais.csv打開了,將其關閉即可恢復正常。
'''
#將搜索到的信息添加進excel(csv)
def readAndWrite(totalMessage):#沒有該文件csv文件的話自動生成csv文件#查詢已有的mmsi列表mmsiList=[]notEmpty=False#判斷文件是否為空    with open('ais.csv','a') as file:passwith open('ais.csv','r') as file:lines=file.readlines()notEmpty=bool(lines)for line 

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/87575.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/87575.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/87575.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

代碼混淆的步驟

在 Android 開發中,代碼混淆(ProGuard/R8)是保護代碼安全和縮減應用體積的關鍵步驟。以下是詳細的混淆流程和優化策略: 一、基礎混淆步驟 1. 啟用混淆 在 build.gradle 中配置: android {buildTypes {release {mini…

分布式集合通信--學習筆記

分布式集合通信一 基礎概念 分布式系統模型 節點與進程模型 多機多卡、多機多進程通信模式 同步 、異步 集合通信定義 點對點通信 vs 集合通信 點對點通信 定義 :兩個節點之間的直接數據傳輸,通常基于專用鏈路或網絡路徑通信范圍:僅涉及兩…

工業顯示器五大品牌推薦及分析

在智能制造與工業自動化中,工業顯示器扮演著至關重要的角色,最近好多朋友問我有沒有什么賣工業顯示的廠家推薦。那今天我為大家整理了5個工業顯示器廠家品牌推薦,希望可以幫助您挑選到合適的工業顯示器一、佳維視(JAWEST&#xff…

ComfyUI工作流:一鍵換背景體驗不同場景

換背景效果展示 在圖像編輯領域,背景替換是提升作品視覺效果與創意表達的重要手段。魔多 AI 社區推出的 “一鍵換背景” ComfyUI 工作流,憑借先進的 AI 技術與極簡操作流程,為用戶提供了高效、精準的背景替換解決方案。本文將從技術原理、功能…

圖像旋轉:從原理到 OpenCV 實踐

在圖像處理領域,圖像旋轉是一項基礎且重要的操作。它不僅可以改變圖像的方向,還在許多計算機視覺任務中發揮著關鍵作用,比如目標檢測、圖像配準等。本文將深入探討圖像旋轉的原理,并結合 OpenCV 庫提供具體的實現代碼。 一、圖像…

微服務架構下的抉擇:Consul vs. Eureka,服務發現該如何選型?

微服務架構下的抉擇:Consul vs. Eureka,服務發現該如何選型? 引言 想象一下,我們正在構建一個大型電商平臺。在“雙十一”大促期間,流量洪峰涌入,訂單服務、商品服務、用戶服務等都需要彈性伸縮&#xff…

基于Java+SpringBoot的寵物愛心組織管理系統

源碼編號:S572 源碼名稱:基于SpringBoot的寵物愛心組織管理系統 用戶類型:雙角色,用戶、管理員 數據庫表數量:15 張表 主要技術:Java、Vue、ElementUl 、SpringBoot、Maven 運行環境:Windo…

數字樣機:改寫衛星物聯網的研制范式

01. 衛星物聯網:技術邊界的自然延伸 隨著物聯網在城市、工業、農業等領域的廣泛部署,萬物互聯的愿景正在不斷逼近技術的邊界。尤其是在海洋、沙漠、高原、邊遠山區等傳統通信網絡難以覆蓋的區域,人們對無盲點物聯網連接的需求日益增強。這一…

springsecurity---使用流程、加密機制、自定義密碼匹配器、token字符串生成

目錄 權限控制 相關框架 SpringSecurity springsecurity使用流程 1、搭建環境實現默認用戶名和密碼登錄 2、使用數據庫表中定義好的用戶名和密碼訪問實現等值密碼匹配 1)sql文件 2)搭建jdbc或者mybatis或者mybatis-plus環境 3)配置mybatis-plus環…

在 Ubuntu 22.04 上使用 Minikube 部署 Go 應用到 Kubernetes

文章目錄 環境說明目標步驟與問題解決1. 構建 Go 應用和 Docker 鏡像問題 1:Go 依賴下載卡住問題 2:Docker 鏡像拉取失敗 2. 設置 Minikube 集群安裝 Minikube問題 3:Minikube 啟動失敗問題 4:Minikube 鏡像拉取失敗 3. 部署 Kube…

Android Studio-Git的使用指南

一、git的基本使用流程 git clone 克隆遠程資源到本地目錄,作為工作目錄;然后在本地的克隆目錄上添加或修改文件;如果遠程修改了,需要同步遠程的內容,直接git pull就可以更新本地的文件;本地在修改之后&…

【github】想fork的項目變為私有副本

在 GitHub 上,所有的 fork 都會繼承其上游倉庫(upstream)的可見性(visibility)設置: 可見性繼承 如果你 fork 的原倉庫是 public,那么你的 fork 也必須是 public。如果原倉庫是 private&#xf…

微軟發布新一代存儲優化型虛擬機:Azure Laosv4、Lasv4 和 Lsv4 系列

微軟宣布,全新一代存儲優化型虛擬機——Azure Laosv4、Lasv4 和 Lsv4 系列已正式面世。 與前一代虛擬機系列相比,全新的 L 系列虛擬機實現了重大突破。它支持高達 23TB 的本地 NVMe SSD,在 CPU、網絡以及遠程存儲性能方面均有顯著提升。該系…

python調用pybind11導出的pyd,出現UnicodeDecodeError

python調用pybind11導出的pyd,出現UnicodeDecodeError 1. 問題描述 舉個例子,當有以下C代碼以及Pybind11的綁定代碼時,在python訪問包含中文的Name和Value會有UnicodeDecodeError的異常! class VxUserProp{public:VxUserProp();…

MySQL別名在GROUP BY中的使用規則

-- 設置變量:SET earliest_date ... 用于定義并賦值一個用戶變量 earliest_date。 -- 用戶定義的變量必須以 符號開頭,例如 earliest_date。 -- 符號是MySQL中用戶變量的標識符,用于區分系統變量和用戶變量。 SET earliest_date (SELECT …

2025.7.4總結

感恩環節:感謝今日工作順利度過,明天終于能美美的睡個懶覺了。感謝這周有個美好的雙休。今日去實驗室參觀設備,感謝我的一個同事解答了我關于硬件設備與所做軟件業務之間的關系,通過控制器控制網元等相關設備,同時,雖然…

Prompt 精通之路(五)- 構建你的“AI 指令系統”:超越簡單提問的 CRISPE 與 APE 框架

🚀 Prompt 精通之路:系列文章導航 第一篇:[本文] AI 時代的新語言:到底什么是 Prompt?為什么它如此重要?第二篇:告別廢話!掌握這 4 個黃金法則,讓你的 Prompt 精準有效第…

#NFT藝術品哈希值唯一性與《民法典》“網絡虛擬財產”認定的沖突

首席數據官高鵬律師數字經濟團隊創作,AI輔助 一、當區塊鏈的「絕對唯一」遇上法律的「彈性空間」 每個NFT藝術品背后的哈希值,都像用數學密碼刻在區塊鏈上的指紋——世界上沒有任何兩個完全相同的編碼。這種由0和1構筑的「數字DNA」,被技術信…

【arXiv2025】計算機視覺|即插即用|LBMamba:革新視覺模型效率,性能炸裂

論文地址:https://arxiv.org/pdf/2506.15976 代碼地址:https://github.com/CiaoHe/bi-mamba 關注UP CV縫合怪,分享最計算機視覺新即插即用模塊,并提供配套的論文資料與代碼。 https://space.bilibili.com/473764881 摘要 Mamba…

【狂飆AGI】第7課:AGI-行業大模型(系列1)

目錄 (一)服裝史的GPT時刻(二)AI多學科診療系統(三)醫療大模型(四)生物醫藥大模型(五)教育大模型(六)心理大模型(七&#…