一、背景

本次是采用python爬取安天威脅情報中心的每日熱點事件，進行甲方內部威脅情報同步的這樣一個需求開發。

界面及內容：

二、逐步實現

2.1、分析請求頁面的數據來源

通過請求頁面我們看到安天對于第三方引用這些內容的真實性等是不予負責的；我們看到該頁面的數據來源是通過一個api接口發送的，那么常規的頁面訪問使用python的BeautifulSoup庫進行頁面html元素抓取數據就不需要了，可以直接通過POST請求獲取api數據示例代碼如下：

import requests
#請求api數據
url = 'https://www.antiycloud.com/api/dailyDetail/20240513'  # 替換為你的網頁URL
response = requests.post(url,verify=False)
data = response.json()
print(data)

2.2、獲取的數據處理

通過上面的請求我們獲取的是一個json數據；如下：

{'status': 'success', 'data': {'id': 840, 'title': '每日安全簡訊（20240513）', 'content': [{'tags': ['俄羅斯', 'APT', 'APT28'], 'image': 'https://tip-antiycloud.obs.cn-south-1.myhuaweicloud.com/safeInfor/1715567406159.jpeg.jpg', 'refer': ['https://cert.pl/en/posts/2024/05/apt28-campaign/'], 'title': '1、 俄羅斯APT28組織針對波蘭機構開展大規模惡意軟件活動', 'event_time': '2024-05-13', 'description': '波蘭政府機構已成為由與俄羅斯有聯系的民族國家組織APT28精心策劃的大規模惡意軟件活動的一部分。計算機緊急響應小組 CERT Polska在周三的公告中表示： “該活動發送的電子郵件內容旨在引起收件人的興趣并說服他點擊鏈接。”單擊該鏈接會將受害者重定向到 run.mocky[.]io 域，該域又用于重定向到另一個名為 webhook[.]site 的合法網站，這是一項免費服務，允許開發人員檢查正在發送的數據通過網絡鉤子，以逃避檢測。', 'image_format': 'jpeg'}, {'tags': ['釣魚攻擊', '網絡攻擊', '項目管理平臺'], 'image': 'https://tip-antiycloud.obs.cn-south-1.myhuaweicloud.com/safeInfor/1715567406423.jpeg.jpg', 'refer': ['https://www.bleepingcomputer.com/news/security/mondaycom-removes-share-update-feature-abused-for-phishing-attacks/'], 'title': '2、 Monday.com項目管理平臺刪除了被濫用于網絡釣魚攻擊的共享更新功能', 'event_time': '2024-05-13', 'description': '在攻擊者在網絡釣魚攻擊中濫用“共享更新”功能后，項目管理平臺 Monday.com 已刪除該功能。Monday.com 是一個基于云的項目管理平臺，允許團隊使用自動化工作流程和儀表板來組織和管理他們的工作。該平臺有 225000 名客戶使用，包括可口可樂、Canva、LionsGate、Oxy、Compass 和 Zippo。周二，Monday.com 的客戶擔心該公司在從其電子郵件帳戶收到網絡釣魚電子郵件后受到了損害。這些電子郵件是使用 SendGrid 發送的，來自 notification@monday.com，通過了 SPF、DMARC 和 DKIM 身份驗證。', 'image_format': 'jpeg'}, {'tags': ['人工智能', '云托管', 'LLMjacking'], 'image': 'https://tip-antiycloud.obs.cn-south-1.myhuaweicloud.com/safeInfor/1715567406554.jpeg.jpg', 'refer': ['https://sysdig.com/blog/llmjacking-stolen-cloud-credentials-used-in-new-ai-attack/'], 'title': '3、 研究人員發現了針對云托管人工智能模型的LLMjacking攻擊活動', 'event_time': '2024-05-13', 'description': '網絡安全研究人員發現了一種新穎的攻擊，該攻擊