python爬去微博十大流行語_用python重新定義【2019十大網絡流行語】-后臺/架構/數據庫-敏捷大拇指-一個敢保留真話的IT精英社區...

↑關注 + 置頂 ~?有趣的不像個技術號

52568040f9313098ffa367d9d9d21437.jpg (5.73 KB, 下載次數: 0)

2019-12-10 04:43 上傳

3f4d5fe0016d011a7a68af763314befd.jpg (1.06 KB, 下載次數: 0)

2019-12-10 04:43 上傳

“文明互鑒真硬核,

融梗檸檬誰覺得。

霸凌第一九九六,

塊鏈不知太難了。”

12月1日,《咬文嚼字》編輯部以一首“順口溜”發布2019年度十大流行語。“文明互鑒”、“區塊鏈”、“硬核”、“融梗”、“××千萬條,××第一條”、“檸檬精”、“996”、“我太難/南了”、“我不要你覺得,我要我覺得”、“霸凌主義”十條流行語入選。

微博評論下有很多網友紛紛表示,

XXX為什么能上榜?

XXX為什么沒上榜?

這點呢,小五表示理解,畢竟采用不同的統計口徑得出的結論可能不同。

那么,小五干脆也自己定義個統計口徑,重新“定義”一下【2019十大網絡流行語】

此處致敬一下重新定義的鼻祖——羅老師。

獲取數據

通過搜索“網絡流行語”,可以發現已經有網站幫我們做了整理。

223808b7dd600bad228263e287f6b6c7.jpg (47.99 KB, 下載次數: 0)

2019-12-10 04:43 上傳

利用python爬蟲可以獲取該網站的2019年度所有網絡流行語。

def?main():

data?=?[]

n?=?1

for?i?in?range(4542,5589):

dic?=?{}

url?=?'https://www.lxybaike.com/index.php?doc-view-'+str(i)+'.html'

print('已成功采集{}條數據'.format(n))

html?=?restaurant(url)

doc?=?pq(html)

dic['tittle']?=?doc('#doctitle').text()

dic['num']?=?doc('#doc-aside?>?div.columns.ctxx?>?ul?>?li:nth-child(1)').text()

data.append(dic)

time.sleep(random.random())

n?=?n?+?1

return?data

爬取成功√

共929個詞語。

我們在獲取這些熱門流行詞的同時,也獲取了他們的一些其他數據,比如瀏覽次數和出現時間。

18a8dbac379c61faeac94387d25be66a.jpg (1.45 KB, 下載次數: 0)

2019-12-10 04:43 上傳

但瀏覽次數很難作為評判這個詞語是否熱門的指標,畢竟大家又不是都來這個網站搜索,所以還是需要一個全網的數據才更準確一點。

一開始選擇了百度指數,結果發現很多詞語沒有收錄,需要付費。于是我就選用了搜狗指數!

29ecaeda685986a6d866fe0e71978470.jpg (26.74 KB, 下載次數: 0)

2019-12-10 04:43 上傳

將剛才爬取得到的929個網絡流行語,可以根據下面式子來構造url。

urls=?'http://zhishu.sogou.com/index/searchHeat?kwdNamesStr='+str(name)+'&timePeriodType=YEAR&dataType=SEARCH_ALL'

再循環爬取依次得到他們的年度平均搜索指數。

成功得到2019年度網絡熱門流行詞排行榜(凹凸玩數據版)!

a3cc1f67bd63f9adfdcf8a0b4092c95a.jpg (1.6 KB, 下載次數: 0)

2019-12-10 04:43 上傳

其中標記綠色的詞語為2018年末出現,在2019年開始流行,在統計時也列入列入2019流行語中。

2019網絡熱門流行詞排行榜

根據上文得到的熱門流行詞排行榜,小五又搜集了一些網上的資料?,利用PS來制作了十張流行詞的解釋圖。

下面開始頒獎:

a6ddbecf687a0b21da59bcf3fbb5c022.jpg (137.57 KB, 下載次數: 0)

2019-12-10 04:43 上傳

7e82671017589cdf75d30381e9c6b129.jpg (155.98 KB, 下載次數: 0)

2019-12-10 04:43 上傳

c7eb68572d035949321679c8d955028e.jpg (132.74 KB, 下載次數: 0)

2019-12-10 04:43 上傳

f20afbd6b6ffd0d7c49190aebc7e7e65.jpg (147.48 KB, 下載次數: 0)

2019-12-10 04:43 上傳

0a12d45b2324c0834e6ae80802ddf48a.jpg (127.49 KB, 下載次數: 0)

2019-12-10 04:43 上傳

5adda4f906d5307135ab0e1b2a8b4e21.jpg (109.68 KB, 下載次數: 0)

2019-12-10 04:43 上傳

a26b0c9b60d0d4dac3650db3c971f766.jpg (147.62 KB, 下載次數: 0)

2019-12-10 04:43 上傳

cb511e765a24511056588f0354328596.jpg (156.05 KB, 下載次數: 0)

2019-12-10 04:43 上傳

f56d9e9fd888bf96f605046467a89852.jpg (190.74 KB, 下載次數: 0)

2019-12-10 04:43 上傳

ae68d36d8cc15a2987db294a3b48e35d.jpg (146.02 KB, 下載次數: 0)

2019-12-10 04:43 上傳

一千個人眼中就有一千個哈姆雷特。

相信每個人心里都有自己的一個流行語排行榜。

不知道小五重新定義的排行榜與你心中的相差多少?

相關爬蟲源碼已上傳github:https://github.com/zpw1995/aotodata/tree/master/interest/popular作者:朱小五,互聯網公司數據分析師。熱衷于Python爬蟲,數據分析,可視化,個人公眾號《凹凸玩數據》,有趣的不像個技術號~

End

4e7d4b146bb4506a3fbb193f6fc13dd1.jpg (59.72 KB, 下載次數: 0)

2019-12-10 04:43 上傳

82a6ccfa8d7c06c0b568e27cf01e7cc3.jpg (58.86 KB, 下載次數: 0)

2019-12-10 04:43 上傳

2ca21464023cecc343f6460a5e071775.jpg (73.89 KB, 下載次數: 0)

2019-12-10 04:43 上傳

a40d98e451d65736cd8b251f0700a73b.jpg (42.66 KB, 下載次數: 0)

2019-12-10 04:43 上傳

游客,本帖隱藏的內容需要積分高于 10240000 才可瀏覽,您當前積分為 0

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/533969.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/533969.shtml
英文地址,請注明出處:http://en.pswp.cn/news/533969.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

java中怎么獲取配置文件的值_java如何獲取配置文件的值

轉:原創 編碼小王子 發布于2018-10-11 18:07:52 閱讀數 2722 收藏展開java大型項目中都會很多系統常量,比如說數據庫的賬號和密碼,以及各種token值等,都需要統一的管理,如果零落的散布到各個類等具體的代碼中的話,在后期管理上將是一場災難,所有需要對這些變量進行統…

python實現隊列_用Python實現的數據結構與算法:隊列

一、概述隊列(Queue)是一種先進先出(FIFO)的線性數據結構,插入操作在隊尾(rear)進行,刪除操作在隊首(front)進行。二、ADT隊列ADT(抽象數據類型)一般提供以下接口:Queue() 創建隊列enqueue(item) 向隊尾插入項dequeue() 返回隊首的項&#xf…

java 監聽窗口是否改變_JAVA項目監聽文件是否發生變化

一.spring容器都初始化完成之后做操作packagecom.bijian.study.listener;importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.context.ApplicationListener;importorg.springframework.context.event.ContextRefreshedEvent;importorg.s…

笨辦法學python3 pdf 腳本之家_解決python3輸入的坑——input()

如下所示:a,b,c,d input()很簡單的代碼,如果輸入為1 -1 -2 3結果會報錯,原因在于input函數會將你的輸入作為python腳本運行,那么輸入就變成了1-1 -2 3,即0 -2 3結果當然是錯誤的了,解決辦法就是將輸入用引…

java 數組寫法_java書寫、數據類型、數組定義

這里只記錄java與php、javascript不同的地方,相同的地方就不贅述了。1.java文件源碼為以.java為后綴的文件,字節碼文件是以.class為后綴的文件。2.寫好一個java源碼之后,cmd進入源碼文件盤符,用命令 javac helloworld.java將源碼轉…

python爬蟲高級知識點_Python爬蟲知識點梳理總結,殿堂級小白入門必讀

數據分析是任何技術一樣。你應該學習的目標。目標就像燈塔,指引你前進。我見過很多合作伙伴學習學習,然后學會放棄。事實上,很大一部分原因是沒有明確的目標,所以你必須清楚學習的目的。你準備學習爬行之前,問問你自己為什么你想學爬行。有些人為了工作,一些為了好玩,和做一定黑…

java running_Running

/****/package test;import java.sql.ResultSet;import java.sql.SQLException;/*** author huangqin**/public class QuestString {private int curPage;//當前頁數private int maxPage;//最大頁數private int maxRowCount;//總記錄數private int pageSize2;//每頁顯示的記錄數…

python停用詞表_多版本中文停用詞詞表 + 多版本英文停用詞詞表 + python詞表合并程序...

文章簡介與更新記錄如果你只想獲取中文停用詞此表,請直接到文章結尾下載項目文件,其中包括三個中文停用詞詞表,一個英文停用詞詞表和一個合并詞表的.py文件2017/07/04 創建文章,上傳文件2017/07/04 更新了合并代碼,添加了新的中文停用詞表(哈工大擴展版本)和一個新的停用詞表,現…

mysql collect_set_hive列轉行 (collect_set())

一、問題hive如何將a b 1a b 2a b 3c d 4c d 5c d 6變為:a b 1,2,3c d 4,5,6二、數據test.txta b 1a b 2a b 3c d …

python編寫遞歸函數和非遞歸函數、輸出斐波那契數列_分別用非遞歸和遞歸的方法編寫函數求斐波那契數列第n項。斐波那契數列1,1,2,3,5,8,13,…...

展開全部/**已知Fibonacci數列&#xff1a;1,1,2,3,5,8,……&#xff0c;F(1)1&#xff0c;F(2)1&#xff0c;F(n)F(n-1)F(n-2)*/#include #include typedef long long int int64;//方法1&#xff0c;遞歸法int64 Fibonacci(int n){int64 sum;if(n<0){printf("參數值e6…

python3.6安裝ipython_centos6.5下安裝python3.6、pip、ipython

一.先更換系統源為了下載順暢一般都會更改為國內源。1 cd /etc/yum.repos.d/2 wget http://mirrors.163.com/.help/CentOS6-Base-163.repo #下載網易源3 mv CentOS-Base.repo CentOS-Base.repo.ori #備份源4 mv CentOS6-Base-163.repo CentOS-Base.repo #把網易源更改為默認源二…

java 多線程的同步問題_java多線程解決同步問題的幾種方式,原理和代碼

wait()/notify()方法await()/signal()方法BlockingQueue阻塞隊列方法PipedInputStream/PipedOutputStream阻塞隊列的一個簡單實現&#xff1a;public class BlockingQueue {private List queue new LinkedList();private int limit 10;public BlockingQueue(int limit){this…

python期末大作業_大一期末考試很重要,考得好不僅有機會有錢拿,還有機會換專業...

現階段很多高校放寒假的時間已經公布&#xff0c;這也就意味著&#xff0c;大學期末考試即將到來。對于大一新生來說&#xff0c;大學的期末考試是比較新鮮的&#xff0c;因為大家都沒有經歷過。經歷過大學考試的學生&#xff0c;都知道大學的大概學習模式&#xff0c;一般情況…

java http 302重定向_Java 純HTTP請求 禁止302自動重定向

Java 純HTTP Get請求獲取響應內容&#xff0c;如果發生302重定向&#xff0c;繼而模擬請求域獲取重定向后的響應內容。關鍵點&#xff1a;設置conn.setInstanceFollowRedirects為false即可示例代碼public static void main(String[] args) {try {StringBuffer buffer new Stri…

python 且_Pyface庫:一個基于pyqt、pyside、wx且簡化的python的GUI

1 說明&#xff1a;1.1 Pyface庫由大名鼎鼎的enthought出品。1.2 介紹&#xff1a;1.2.1 英文&#xff1a;traits-capable windowing framework.The pyface project contains a toolkit-independent GUI abstraction layer, which is used to support the "visualization&…

java方法的參數類型_Java 基礎 14 方法的重載 與 方法參數類型詳解

1.1 方法重載的概述和特點方法重載概述在同一個類中&#xff0c;允許存在一個以上的同名方法&#xff0c;只要它們的參數個數或者參數類型不同即可。方法重載特點與返回值類型無關&#xff0c;只看方法名和參數列表在調用時&#xff0c;虛擬機通過參數列表的不同來區分同名方法…

crv儀表上的i是什么指示燈_汽車打不著火是怎么回事,儀表盤汽車發動機故障燈亮是什么情況故障指示燈圖解大全集...

如果打不著火&#xff0c;那有可能是起動機壞了&#xff0c;有可能是電池沒電了&#xff0c;有可能是電路出現了問題&#xff0c;還有可能是點火系統出現了問題。汽車發動機的點火系統主要部件是火花塞和點火線圈&#xff0c;火花塞是一個需要定期更換的易損件。如果火花塞長時…

python極簡教程_Python 極簡教程(六)運算符

運算符&#xff0c;我們日常生活中使用的加減乘除&#xff0c;都是運算符的一種。當然這種一般我們稱為算術運算符&#xff0c;用于處理數字運算的。但是在計算機語言中&#xff0c;還有很多的運算符。用于處理不用的情況。主要有以下幾類&#xff1a;算術運算符比較運算符邏輯…

python函數可變長參數_day14 Python函數之可變長參數

函數參數1.形參變量只有在被調用時才分配內存單元&#xff0c;在調用結束時&#xff0c;即刻釋放所分配的內存單元。因此&#xff0c;形參只在函數內部有效。函數調用結束返回主調用函數后則不能再使用該形參變量2.實參可以是常量、變量、表達式、函數等&#xff0c;無論實參是…

ubuntu 安裝java jdk_「ubuntu安裝jdk」Ubuntu安裝jdk8的兩種方式 - seo實驗室

ubuntu安裝jdk安裝方式&#xff1a;1)&#xff1a;通過ppa(源) 方式安裝.2)&#xff1a;通過官網安裝包安裝.JDK官網下載地址一&#xff1a;使用ppa(源)方式安裝&#xff1a;1)&#xff1a;添加ppa源sudo add-apt-repository ppa:webupd8team/javasudo apt-get update2)&#x…