Ownips+Coze海外社媒數據分析實戰指南

目錄

  • 一、引言
  • 二、ISP代理簡介
  • 三、應用實踐——基于Ownips和coze的社媒智能分析助手
    • 3.1、Twitter趨勢數據采集
      • 3.1.1、Twitter趨勢數據接口分析
      • 3.1.2、Ownips原生住宅ISP選取與配置
      • 3.1.3、數據采集
    • 3.2、基于Ownips和Coze的社媒智能助手
      • 3.2.1、Ownips數據采集插件集成
      • 3.2.2、創建Twitter Bot智能體
      • 3.2.3、Twitter 趨勢分析效果
  • 四、最后

一、引言

在當今數字化浪潮中，社交媒體已深深融入人們的日常生活，并為企業、研究機構及個體研究者提供了寶貴的數據資源。從Twitter、Facebook、Instagram、LinkedIn等多元化平臺高效采集數據，并進行深入分析，我們能夠洞察用戶行為、市場動向、公眾情感等關鍵信息。這些信息對于市場分析、社會研究、品牌監控及其他各種分析工作至關重要。

本文旨在通過案例，探討在社交媒體數據采集與分析的實戰方法，為研究和工作提供堅實的數據支撐。

二、ISP代理簡介

在這里插入圖片描述
在采集社交媒體數據之前，我們首先要解決一個核心問題：社交媒體平臺對IP的屬性做判斷，導致無法高效采集數據。一方面，社交媒體平臺在推送時會確保所推送的內容與當地的文化和用戶偏好相符合，另一方面，社交媒體平臺會檢測和阻止異常流量，一旦單次訪問次數過多，便可能觸發強制驗證。

這時，ISP代理的引入就顯得尤為重要。ISP代理首先能夠模擬地區，有效保護在線隱私，減少被追蹤和識別。其次，它能夠確保用戶順暢地訪問所需內容，提升數據獲取的效率和便捷性。此外，ISP代理還提供了額外的安全層，能夠過濾釣魚網站和陷阱類的內容，有效防止惡意攻擊和數據泄露的風險。在企業環境中，其還能夠顯著加快網頁訪問速度，降低帶寬使用，同時通過負載均衡技術提升網絡性能和穩定性。
在這里插入圖片描述
Ownips就是這樣一家專注于提供高質量靜態IP代理服務的公司，其為全球用戶提供獨享原生靜態ISP，具有高穩定性、高安全性，資源覆蓋全球100+國家地區，可謂是全力滿足伙伴們在跨境電商、社交營銷等場景中的需求。

值得一提的是，Ownips專做高質量靜態代理，根據業務場景選擇不同等級的靜態IP，使用更加靈活。Ownips通過提供純凈、穩定的靜態IP資源，并結合其靈活的配置選項和專業的技術支持，為用戶提供了代理體驗，滿足了不同業務場景下的需求。

三、應用實踐——基于Ownips和coze的社媒智能分析助手

3.1、Twitter趨勢數據采集

3.1.1、Twitter趨勢數據接口分析

打開推特網頁我們可以發現，整個趨勢榜是一個div盒子。請添加圖片描述
每一個項目都是一個子div，包含在主div下。而文字部分包含在其中的一個span下。于是可以得到結構如下：
在這里插入圖片描述
其中，<div class="css-1750izr" aria-label="時間線：探索"> 這個

容器包含了所有的趨勢數據。每個趨勢項由類似于 <div class="css-1750izr"> ... <span>趨勢內容 </span> ... </div> 的結構組成。例如， <span>Celtics</span> 表示一個趨勢項，內容為“Celtics”。依據結構可以寫出xpath如下： python //div[@aria-label="時間線：探索"]/div/div//div/div/div/div/div[2]/span

測試一下，可以發現確實選出了所有的項目，后期只要提取其中的文字即可。
在這里插入圖片描述

3.1.2、Ownips原生住宅ISP選取與配置

訪問Ownips 網站，打開住宅ISP代理頁面，選擇原生住宅ISP，即可開始添加需要地區的IP，選好以后點擊購買即可。
在這里插入圖片描述
下單完成后即可在個人中心看到之前選購的IP的狀態，也可以進行管理和續費。
在這里插入圖片描述
點擊獲取代理，即可使用剛才購買的IP，這里支持兩種使用方式，一種是通過API自動獲取，一種是通過設置賬號定向訪問。這里我們先選擇API方式。選定國家和地區，點擊生成鏈接即可在右側得到登錄鏈接。接下來我們嘗試獲取代理。點擊賬戶認證獲取，選擇國家和地區，之后要選擇認證賬戶，這里我們先去創建一個。
在這里插入圖片描述
在賬密認證中選擇認證賬戶管理，選擇添加。設置好賬號密碼即可。
在這里插入圖片描述
回到賬戶獲取代理中，選擇剛才創建的賬號，即可使用。
在這里插入圖片描述

3.1.3、數據采集

這里我們采用python的request庫獲取網頁，并通過xpath解析頁面數據，最后保存為txt文件。

首先，導入必要的模塊，包括requests用于發送HTTP請求，BeautifulSoup用于解析HTML，_thread用于多線程處理，和time用于時間延遲。之后需要設置模擬瀏覽器的請求頭和目標URL。

import requests as rq
from bs4 import BeautifulSoup
import _thread
import timeheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",}
api = 'https://api-proxy.ownips.com/getIsp?num=1&type=1&lb=1&sb=0&flow=1?ions=tw&attribute=native_isp'
url = 'https://x.com/explore/tabs/keyword'

procPage函數使用BeautifulSoup解析HTML內容，其中，首先通過BeautifulSoup(page, 'html.parser')來創建一個soup對象，這個對象會解析傳入的HTML頁面page，然后，使用xpath方法來定位具有特定aria-label屬性的子元素。

def procPage(page):soup = BeautifulSoup(page, 'html.parser')divs = soup.xpath('//div[@aria-label="時間線：探索"]/div/div')r = []for i in range(2, len(divs)):r.append(divs[i].xpath('//div/div/div/div/div[2]/span//text()'))print("解析完畢")return r

testUrl函數定義了一個名為 proxy 的字典，用于設置代理服務器信息，通過代理發送GET請求到目標URL，這個請求包含了之前定義的 headers 字典，用于模擬瀏覽器發送請求，以避免被目標網站拒絕。最后，函數調用 procPage 函數來解析網頁內容。它將 res.content（即響應內容的二進制數據）作為參數傳遞給 procPage ，并將結果寫入一個文件。此處隱去ip消息。

def testUrl():proxy = {'http': 'http://yyyyyyy:yyy3214@38.182.xxx.xxx:2333','https': 'https://yyyyyyy:yyy3214@38.182.xxx.xxx:2333',}try:res = rq.get(url=url, headers=headers, proxies=proxy)print("獲取成功，正在解析")d = procPage(res.content)with open('trend.txt', 'w', encoding='utf-8') as f:f.write(str(d))except Exception as e:print("訪問失敗", e)

主線程啟動10個并發線程，每個線程調用testUrl，并在每個線程啟動后延遲0.1秒，最終主線程延遲10秒以確保所有子線程完成任務。

for port in range(0, 10):_thread.start_new_thread(testUrl, ())time.sleep(0.1)time.sleep(10)

運行一下，得到結果如下：
在這里插入圖片描述
完整代碼如下：

import requests as rq
from bs4 import BeautifulSoup
import _thread
import timeheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",}
api = 'https://api-proxy.ownips.com/getIsp?num=1&type=1&lb=1&sb=0&flow=1?ions=tw&attribute=native_isp'
url = 'https://x.com/explore/tabs/keyword'def procPage(page):soup = BeautifulSoup(page, 'html.parser')divs = soup.xpath('//div[@aria-label="時間線：探索"]/div/div')r = []for i in range(2, len(divs)):r.append(divs[i].xpath('//div/div/div/div/div[2]/span//text()'))print("解析完畢")return rdef testUrl():proxy = {'http': 'http://yyyyyyy:yyy3214@38.182.xxx.xxx:2333','https': 'https://yyyyyyy:yyy3214@38.182.xxx.xxx:2333',}try:res = rq.get(url=url, headers=headers, proxies=proxy)print("獲取成功，正在解析")d = procPage(res.content)with open('trend.txt', 'w', encoding='utf-8') as f:f.write(str(d))except Exception as e:print("訪問失敗", e)for port in range(0, 10):_thread.start_new_thread(testUrl, ())time.sleep(0.1)time.sleep(10)

除了趨勢數據，將url 替換后，還可以采集以下數據：

  • 查詢tweet詳細數據：https://twitter.com/i/api/graphql/4tzuTRu5-fpJTS7bDF6Nlg/TweetDetail?variables=
  • 查詢用戶screenName：https://twitter.com/i/api/graphql/cYsDlVss-qimNYmNlb6inw/UserByScreenName?variables=
  • 查詢用戶關注者：https://twitter.com/i/api/graphql/5jYTqZAy8gQiTPcAuNNXPg/Following?variables=
  • 查詢用戶追隨者：https://twitter.com/i/api/graph

3.2、基于Ownips和Coze的社媒智能助手

3.2.1、Ownips數據采集插件集成

設計好數據采集流程后，我們可以登錄https://www.coze.com/home，進入coze官網，創建插件：
請添加圖片描述

插件就是一個支持調用的服務端接口，可以將自己的 API 通過參數配置的方式快速創建一個插件，然后集成到應用中使用。這里在創建插件的基本信息窗口中，使用在Coze IDE中直接編程，然后IDE的develop runtime改為Python3。
在這里插入圖片描述
然后為插件創建Tool工具，并將以上已經寫好的數據采集腳本放到Tool的核心代碼區中并點擊發布，從而構建插件的核心功能，插件通過合理使用Ownips 的ISP代理，可以更加實時高效和安全地采集Twitter社交媒體數據，為市場分析、學術研究、品牌監測等提供強有力的支持。
請添加圖片描述

3.2.2、創建Twitter Bot智能體

創建好插件后，接下來創建Twitter Bot智能體，回到coze主頁，點擊Create bot創建智能體，然后選擇在Personal工作區，使用AI生成圖標，然后點擊Confirm確認創建。
在這里插入圖片描述
進入Bot操作界面后，首先在左側為Twitter Bot智能體書寫提示詞，然后將剛剛創建好的插件配置上去，也可以添加一些工作流、圖像流、觸發器、開場白、Markdown 編輯器、用戶問題建議、快捷指令等擴展功能。
在這里插入圖片描述
以下是可以參考的提示詞：

# 角色
你是一位社交媒體智能助手，擅長分析Twitter等社交媒體平臺的趨勢、熱點和關鍵詞，幫助用戶洞悉社交媒體上的流行動態，并做出相應反應。## 技能
### 技能1：社交媒體分析
- 連接到Twitter等社交媒體平臺的API，實時監測社交平臺的主要趨勢。### 技能2：數據分析
- 對采集的數據進行分析以識別熱點和關鍵詞。### 技能3：模式識別
- 識別并追蹤在推特上的熱門話題和流行模式。### 技能4：趨勢預測
- 根據數據分析模型，預測未來可能出現的熱點和趨勢。## 條件
- 在進行社交媒體分析的過程中，全程遵守社交媒體平臺的使用條款和法律規定，保護用戶隱私權。 
- 提供用戶界面，方便用戶訪問和操作。
- 用戶可以自定義通知，當相關趨勢出現時推送通知。你的目標是為用戶節省時間，并提供效率高的信息流。適用于品牌營銷、新聞媒體、市場研究等領域。你可以在啟動智能助手之前，設置和配置連接到社交媒體平臺的API，輸入初始化數據，設定分析參數和關鍵詞列表。并隨后開啟實時監測模式，獲取首份趨勢數據分析報告。

3.2.3、Twitter 趨勢分析效果

創建好成功后，就可以開始使用了，這里可以針對Twitter采集的數據進行分析以識別熱點和關鍵詞，無論是市場趨勢的預測，還是用戶行為的洞察，coze都能為用戶提供精準、及時的分析報告，效果如下：
在這里插入圖片描述
借助Ownips IP代理的強大功能，用戶們得以輕松訪問并獲取來自全球各地的全面且真實的數據；而coze的智能分析功能則能夠幫助用戶從這些數據中提煉出有價值的信息。Ownips與Coze智能分析功能的組合，為用戶們提供了一個強大且全面的數據分析工具。無論是市場研究、輿情監測還是商業決策，這一組合都能夠為用戶提供準確、及時的數據支持，幫助他們更好地把握機遇，實現更大的價值。

四、最后

經過實踐，可以發現，Ownips 靜態ISP代理具備模擬不同地區用戶的能力，這一功能對于跨地區趨勢分析尤為實用。借助此功能，可以對比不同地區的Twitter趨勢和熱點話題，進而深入了解各地用戶的興趣偏好和社交習慣。這不僅為用戶提供了訪問Twitter內容的便捷途徑，更重要的是，它協助用戶更深刻地洞察Twitter上的社交動態，從而發現潛在的商業機遇或社會熱點。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/bicheng/18643.shtml
繁體地址，請注明出處：http://hk.pswp.cn/bicheng/18643.shtml
英文地址，請注明出處：http://en.pswp.cn/bicheng/18643.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

解鎖未標記圖像的力量：深入探索計算機視覺中無監督卷積神經網絡

解鎖未標記圖像的力量：深入探索計算機視覺中無監督卷積神經網絡

引言 近年來&#xff0c;計算機視覺領域取得了顯著進步&#xff0c;這在很大程度上得益于深度學習&#xff0c;尤其是卷積神經網絡&#xff08;CNN&#xff09;的發展。這些強大的模型在圖像分類、目標檢測和分割等任務上表現出色&#xff0c;主要依靠大規模標記數據集進行監督…
閱讀更多...
Flutter 中的 FadeTransition 小部件：全面指南

Flutter 中的 FadeTransition 小部件：全面指南

Flutter 中的 FadeTransition 小部件&#xff1a;全面指南 在 Flutter 中&#xff0c;動畫是一種吸引用戶注意力并提供流暢用戶體驗的強大工具。FadeTransition 是 Flutter 提供的一個動畫小部件&#xff0c;它允許子組件在不透明度上進行漸變&#xff0c;從而實現淡入和淡出效…
閱讀更多...
git基礎 -- 判斷 Git 輸入名稱是分支名還是標簽名

git基礎 -- 判斷 Git 輸入名稱是分支名還是標簽名

判斷 Git 輸入名稱是分支名還是標簽名 背景 在使用 Git 進行版本控制時&#xff0c;有時需要判斷一個給定的名稱是分支名還是標簽名。分支和標簽在 Git 中是兩種不同的引用類型&#xff0c;但它們的名稱空間是獨立的&#xff0c;因此同一個名稱可以同時存在于分支和標簽中。為…
閱讀更多...
Linux備份腳本

Linux備份腳本

作用 Linux文件備份的作用較多&#xff0c;推薦以下幾種&#xff1a; 保護文件&#xff1a;備份可以幫助用戶保護文件&#xff0c;防止文件被意外刪除或損壞。保證系統安全和應用安全&#xff1a;Linux系統管理人員對系統和業務應用要有一個合理的備份恢復策略&#xff0c;完…
閱讀更多...
【Unity入門】認識Unity編輯器

【Unity入門】認識Unity編輯器

Unity 是一個廣泛應用于游戲開發的強大引擎&#xff0c;從 1.0 版本開始到現在&#xff0c;其編輯器的基本框架一直保持穩定。其基于組件架構的設計&#xff0c;使得界面使用起來直觀且高效。為了更好地理解 Unity 的界面&#xff0c;我們可以將其比喻為搭建一個舞臺。以下是對…
閱讀更多...
【AI+chat】推薦一款基于大模型的智能對話機器人，支持微信公眾號、企業微信應用、飛書、釘釘接入

【AI+chat】推薦一款基于大模型的智能對話機器人，支持微信公眾號、企業微信應用、飛書、釘釘接入

之前寫了一篇文章&#xff0c; coze配置 kimichat集成到微信公眾號聊天 【AIchat】手把手配置kimichat集成到微信公眾號中對話聊天 。 有同學私信我有沒有開源項目&#xff0c; 這里推薦一款chatgpt-on-wechat。 官方git地址&#xff1a;https://github.com/zhayujie/ch…
閱讀更多...
Yann LeCun 和 Elon Musk 就 AI 監管激烈交鋒

Yann LeCun 和 Elon Musk 就 AI 監管激烈交鋒

&#x1f989; AI新聞 &#x1f680; Yann LeCun 和 Elon Musk 就 AI 監管激烈交鋒 摘要&#xff1a;昨天&#xff0c;Yann LeCun 和Elon Musk 在社交媒體就人工智能的安全性和監管問題展開激烈辯論。LeCun 認為目前對 AI 的擔憂和監管為時過早&#xff0c;主張開放和共享。而…
閱讀更多...
Ps：消失點濾鏡 - 透視平面和網格

Ps：消失點濾鏡 - 透視平面和網格

Ps菜單&#xff1a;濾鏡/消失點 Filter/Vanishing Point 快捷鍵&#xff1a;Ctrl Alt V “消失點”濾鏡中的透視平面 Plane和網格 Grid用于在編輯圖像時保持正確的透視效果。 只有定義了與圖像透視對齊的矩形平面&#xff0c;才能在消失點中進行編輯。平面的精確度確定了能否…
閱讀更多...
vue數字翻盤，翻轉效果

vue數字翻盤，翻轉效果

數字翻轉的效果 實現數字翻轉的效果上面為出來的樣子 下面為代碼&#xff0c;使用的時候直接引入&#xff0c;還有就是把圖片的路徑自己換成自己或者先用顏色替代&#xff0c;傳入num和numlength即可 <template><div v-for"(item, index) in processedNums&quo…
閱讀更多...
MOS管開關電路簡單筆記

MOS管開關電路簡單筆記

沒錯&#xff0c;這一篇還是備忘錄&#xff0c;復雜的東西一律不討論。主要討論增強型的PMOS與NMOS。 PMOS 首先上場的是PMOS,它的導通條件&#xff1a;Vg-Vs<0且|Vg-Vs>Vgsth|&#xff0c;PMOS的電流流向是S->D,D端接負載&#xff0c;S端接受控電源。MOS管一般無法…
閱讀更多...
Java Web集成開發環境Eclipse的安裝及web項目創建

Java Web集成開發環境Eclipse的安裝及web項目創建

第一步&#xff1a;下載安裝JDK http://t.csdnimg.cn/RzTBXhttp://t.csdnimg.cn/RzTBX 第二步&#xff1a;下載安裝Tomcat Tomcat下載安裝以及配置_tomcat下載配置-CSDN博客文章瀏覽閱讀2.5k次&#xff0c;點贊2次&#xff0c;收藏13次。Tomcat下載安裝及其配置_tomcat下載配…
閱讀更多...
云WAF在應對新興網絡威脅時具備哪些優勢？

云WAF在應對新興網絡威脅時具備哪些優勢？

云WAF&#xff08;Cloud Web Application Firewall&#xff09;是一種基于云計算技術的網絡安全防護系統&#xff0c;它能夠實時監測并分析網絡流量&#xff0c;有效識別并防御各種Web攻擊&#xff0c;如SQL注入、跨站腳本攻擊&#xff08;XSS&#xff09;、文件上傳漏洞等。云…
閱讀更多...
QSqlDatabase: QMYSQL driver not loaded

QSqlDatabase: QMYSQL driver not loaded

這個錯誤表明Qt沒有加載MySQL驅動程序。在使用MySQL數據庫之前&#xff0c;你需要確保已經正確加載了相應的數據庫驅動程序。 首先&#xff0c;確保你的應用程序已經鏈接了Qt的SQL模塊。在你的.pro文件中&#xff0c;添加如下行&#xff1a; QT sql 然后&#xff0c;確保你的…
閱讀更多...
【云原生】kubernetes中的認證、權限設置--RBAC授權原理分析與應用實戰

【云原生】kubernetes中的認證、權限設置--RBAC授權原理分析與應用實戰

?? 歡迎大家來到景天科技苑?? &#x1f388;&#x1f388; 養成好習慣&#xff0c;先贊后看哦~&#x1f388;&#x1f388; &#x1f3c6; 作者簡介&#xff1a;景天科技苑 &#x1f3c6;《頭銜》&#xff1a;大廠架構師&#xff0c;華為云開發者社區專家博主&#xff0c;…
閱讀更多...
【云原生 | 59】Docker中通過docker-compose部署ELK

【云原生 | 59】Docker中通過docker-compose部署ELK

目錄 1、組件介紹 2 、項目環境 2.1 各個環境版本 2.2 Docker-Compose變量配置 2.3 Docker-Compose服務配置 3、在Services中聲明了四個服務 3.1 ElasticSearch服務 3.2 Logstash服務 3.3 Kibana服務 3.4 Filebeat服務 4、使用方法 4.1 方法一 4.2 方法二 5、啟動…
閱讀更多...
docker安裝nginx 記錄

docker安裝nginx 記錄

1、準備工作&#xff08;創建對應目錄&#xff09; mkdir /home/nginx/conf/ mkdir /home/nginx/conf/conf.d mkdir /home/nginx/ssl mkdir /home/nginx/www mkdir /home/nginx/logs2、拉取鏡像 docker pull nginx3、創建臨時nginx docker run -d --name nginxtest -p 8080:…
閱讀更多...
MySQL8報錯Public Key Retrieval is not allowedz 怎么解決？

MySQL8報錯Public Key Retrieval is not allowedz 怎么解決？

問題描述 當我們使用數據庫管理工具連接mysql8的時候&#xff0c;可能遇到報錯&#xff1a; Public Key Retrieval is not allowed 解決辦法 1、在連接屬性中配置allowPublicKeyRetrieval設置為true 2、在連接URL中加上配置allowPublicKeyRetrieval為true
閱讀更多...
項目經理常犯的錯

項目經理常犯的錯

人無完人&#xff0c;任何人都會犯錯&#xff1b;下面我們看看項目經理經常會犯那些錯誤&#xff1a; 01、項目范圍識別不清 業務理解的不夠深入&#xff0c;項目目標不清晰&#xff0c;導致范圍邊界不準確&#xff0c;造成需求蔓延。 02、項目計劃不夠準確缺乏彈性 項目目標…
閱讀更多...
margin-left: auto；使元素靠右

margin-left: auto；使元素靠右

摘要&#xff1a; 今天寫樣式遇到一個東西&#xff0c;就是需要表單居右顯示的&#xff0c;但是作用了彈性布局&#xff0c;其他的都不行的&#xff0c;一開始使用了浮動&#xff0c;但是使用了浮動后盒子就不繼承父盒子的寬度了&#xff0c;移動端還行&#xff0c;自動回到100…
閱讀更多...
被追著問UUID和自增ID做主鍵哪個好，為什么？

被追著問UUID和自增ID做主鍵哪個好，為什么？

之前無意間看到群友討論到用什么做主鍵比較好 其實 UUID 和自增主鍵 ID 是常用于數據庫主鍵的兩種方式&#xff0c;各自具有獨特的優缺點。 UUID UUID 是一個由 128 位組成的唯一標識符&#xff0c;通常以字符串形式表示。它可以通過不同的算法生成&#xff0c;例如基于時間…
閱讀更多...
最新文章

Copyright @ 2022~2023