爬蟲項目(一)---采集最近一日世界各國的疫情數據信息

該內容出自黑馬程序員教程

采集最近一日世界各國疫情數據

步驟:

  1. 發送請求,獲取疫情首頁
  2. 從疫情首頁中提取最近一日各國疫情字符串
  3. 從最近一日各國疫情字符串中提取json格式字符串
  4. 把json格式字符串轉換為Python類型
  5. 把Python類型的數據,以json格式存入文件中

當然,數據來源仍然是丁香園新型冠狀病毒肺炎疫情實時動態首頁
url:https://ncov.dxy.cn/ncovh5/view/pneumonia
在這里插入圖片描述
很顯然,id='getListByCountryTypeService2true'這里面存有世界各國疫情數據

import requests
import re
import json
from bs4 import BeautifulSoup#1,發送請求,獲取疫情首頁
response = requests.get("https://ncov.dxy.cn/ncovh5/view/pneumonia")
home_page = response.content.decode()#2,從疫情首頁提取最近一日各國疫情數據
soup = BeautifulSoup(home_page,'lxml')
script = soup.find(id='getListByCountryTypeService2true')
text = script.text
#print(text)#3,從疫情數據中獲取json格式的字符串
json_str = re.findall(r'\[.+\]',text)[0]#由于中括號是個特殊的字符,需要在前面加個轉義符;最后的結果會存在列表中,故使用[0]來獲取完整json格式
#print(json_str)#4,把json格式的字符串轉換為Python類型
last_day_nature_num = json.loads(json_str)
#print(last_day_nature_num)#5,以json格式保存最近一日各國疫情數據
with open('E:\Jupyter_workspace\study\python\爬蟲\last_day_nature_num.json','w') as fp:json.dump(last_day_nature_num,fp,ensure_ascii=False)

在這里插入圖片描述
在這里插入圖片描述

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/378201.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/378201.shtml
英文地址,請注明出處:http://en.pswp.cn/news/378201.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【數據結構基礎應用】【順序表】

代碼參考《妙趣橫生的算法.C語言實現》、《劍指OFFER 名企面試官精講典型編程題 第2版》等 文章目錄前言1、合并兩個順序表前言 本章總結在看書過程中的一些關于順序表的算法題并可能含有一些自己的一些疑問。題目數量不定,隨閱歷增加而增加; 1、合并兩…

html上下滾動切換頂端tab,jQuery實現Tab菜單滾動切換的方法

本文實例講述了jQuery實現Tab菜單滾動切換的方法。分享給大家供大家參考。具體如下:這是一款jQuery實現讓你的Tab菜單滾動的代碼,先運行一下看看效果咋樣?是不是超不錯,讓你的網頁變得靈動起來,不再靜止,學習jquery的朋友也可作為范例來參考吧.運行效果截圖如下&am…

[轉載]十四步實現擁有強大AI的五子棋游戲

又是本人一份人工智能作業……首先道歉,從Word貼到Livewrter,好多格式沒了,也沒做代碼高亮……大家湊活著看……想做個好的人機對弈的五子棋,可以說需要考慮的問題還是很多的,我們將制作擁有強大AI五子棋的過程分為十四…

Java BigDecimal plus()方法與示例

BigDecimal Class plus()方法 (BigDecimal Class plus() method) Syntax: 句法: public BigDecimal plus();public BigDecimal plus(MathContext ma_co);plus() method is available in java.math package. plus()方法在java.math包中可用。 plus() method is used…

爬蟲項目(二)---采集從03月02號以來的世界各國疫情數據

該內容出自黑馬程序員教程 采集從03月02號以來的世界各國疫情數據 步驟: Ⅰ,重構項目(一)的代碼,以提高擴展性 把功能封裝到一個類中每一個小功能變成一個方法通過run方法啟動爬蟲 import requests import re import json from bs4 impor…

【原創】StreamInsight查詢系列(二十)——查詢模式之檢測間隙事件

上篇文章介紹了查詢模式中如何檢測異常事件,這篇博文將介紹StreamInsight中如何檢測間隙事件。 測試數據準備 為了方便測試查詢,我們首先準備一個靜態的測試數據源:// 創建數據源,要注意的是4:16和4:30之間存在的事件間隙 var sou…

git 項目過大問題解決

當項目過大時,git clone時會出現error: RPC failed; HTTP curl The requested URL returned error: Gateway Time-out的問題 解決方法很簡單,在git clone時加上--depth1即可解決 克隆的項目只包含最近的一次commit的一個分支,體積很小&#x…

java bitset_Java BitSet hashCode()方法及示例

java bitsetBitSet類hashCode()方法 (BitSet Class hashCode() method) hashCode() method is available in java.util package. hashCode()方法在java.util包中可用。 hashCode() method is used to retrieve hash code for this bit set (BitSet). hashCode()方法用于檢索此位…

【數據結構基礎應用】【查找和排序算法】

代碼參考《妙趣橫生的算法.C語言實現》 文章目錄前言1、順序查找2、折半查找3、直接插入排序4、選擇排序5、冒泡排序6、希爾排序7、快速排序8、堆排序9、排序算法性能比較10、所有算法的code(C語言)前言 本章總結查找和排序算法:順序查找、折…

MarshalHelper

1 public class MarshalHelper2 {3 /// <summary>4 /// 結構體轉byte數組5 /// </summary>6 /// <param name”structObj”>要轉換的結構體</param>7 /// <returns>轉換后的byte數組</returns&g…

深入淺出SharePoint——InvokeWorkflow的妙用

應用場景&#xff1a;在Parallel Activity中使用InvokeWorkflow來達到間接關閉并行分支的功能。 TestInvokeWorkflow方法用于啟動監聽工作流。endinvoke方法用戶關閉啟動的監聽工作流實例。 private void TestInvokeWorkflow(object sender, EventArgs e) { SPWeb web SPConte…

爬蟲項目(三)---采集最近一日全國各省疫情數據

該內容出自黑馬程序員教程 采集最近一日全國各省疫情數據 當然&#xff0c;數據來源仍然是丁香園新型冠狀病毒肺炎疫情實時動態首頁 url&#xff1a;https://ncov.dxy.cn/ncovh5/view/pneumonia 思路&#xff1a;首先需要先確定全國各省疫情數據的位置 全國各省份的疫情數據…

計算機專業博士后排名,排名丨計算機專業領域TOP10,性價比超高!

原標題&#xff1a;排名丨計算機專業領域TOP10&#xff0c;性價比超高&#xff01;相信各位家長、同學已經看過太多專業的排名&#xff0c;我問過很多理科生將來想學什么專業&#xff0c;聽到頻率最高的還是計算機專業。似乎大家都知道&#xff0c;學計算機是比較掙錢的&#x…

python set |_Python事件類| set()方法與示例

python set |Python Event.set()方法 (Python Event.set() Method) set() is an inbuilt method of the Event class of the threading module in Python. set()是Python中線程模塊的Event類的內置方法。 When the set() method is called, the internal flag of that event c…

js 命名規范

轉載于:https://www.cnblogs.com/zjx2011/p/3165043.html

爬蟲項目(四)---采集從01月22日以來全國各省疫情數據

采集從03月02日以來全國各省疫情數據 當然&#xff0c;數據來源仍然是丁香園新型冠狀病毒肺炎疫情實時動態首頁 url&#xff1a;https://ncov.dxy.cn/ncovh5/view/pneumonia 分析 確定01月22日以來全國各省疫情數據的URL 由項目(三)可以獲取全國各省疫情數據點擊可下載&…

Install PHP and Apache

http://cn.php.net/manual/en/install.unix.apache2.php Install Apache first, then sudo apt-get install libxml2-dev sudo apt-get install libmysqlclient16-dev Then, configure PHP轉載于:https://www.cnblogs.com/songsiyao/archive/2011/09/15/2178087.html

糾錯碼trick和數據壓縮trick

糾錯碼和壓縮算法是同一枚硬幣的兩面。 兩者都來自于對冗余的想法。 糾錯碼被視為向消息或文件中添加冗余的原則性方法。而壓縮算法正好相反&#xff0c;他們會從消息或文件中移除冗余。 壓縮和糾錯并不是彼此抵消的&#xff0c;相反&#xff0c;好的壓縮算法會移除抵消冗余&am…

計算機專業理論,計算機專業綜合理論.doc

計算機專業綜合理論2010年南京市單招班教學調研測試卷(二)計算機專業綜合理論命題人&#xff1a;管榮平 陳高峰 戴則萍 吳有俊本試卷分第一卷(單項選擇題、判斷題)和第二卷(填空題、程序閱讀題、編程題和計算作圖題)兩部分。第一卷1至2頁&#xff0c;第二卷3至6頁。兩卷滿分300…

網站上flv,MP4等格式的視頻文件播放不出來的解決辦法

在做一個網站時&#xff0c;發現視頻文件&#xff0c;比如flv&#xff0c;MP4格式在本地可以正常的播放&#xff0c;但是傳到了開發機器上&#xff0c;就不行了。播放器的文件地址是對的&#xff0c;就是一直沒有反應。 經過長時間的實驗&#xff0c;發現問題在與iis的設置問題…