基于ChatGPT、GIS與Python機器學習的地質災害風險評估、易發性分析、信息化建庫及災后重建高級實踐

第一章、ChatGPT、DeepSeek大語言模型提示詞與地質災害基礎及平臺介紹【基礎實踐篇】

1、什么是大模型? 大模型(Large Language Model, LLM)是一種基于深度學習技術的大規模自然語言處理模型。 代表性大模型:GPT-4、BERT、T5、ChatGPT 等。 特點: 多任務能力:可以完成文本生成、分類、翻譯、問答等任務。 上下文理解:能理解復雜的上下文信息。 廣泛適配性:適合科研、教育、行業等多領域應用。

2、高效提示詞設計 什么是提示詞? 提示詞(Prompt)是向大模型輸入的文字說明,用于引導其生成期望的輸出。 提示詞的設計原則 明確性:清晰表達任務需求。 分步驟:將復雜任務分解為多個簡單任務。 加入約束:限制輸出格式、字數等。 提示詞優化示例 不明確的提示詞 優化后的提示詞

3、基本概念 地質災害類型 地質災害發育特征與分布規律 地質災害危害特征 地質災害孕災地質條件分析 地質災害誘發因素與形成機理

4、GIS原理與ArcGIS平臺介紹 GIS簡介 ArcGIS基礎 空間數據采集與組織 空間參考 空間數據的轉換與處理 ArcGIS中的數據編輯 地理數據的可視化表達 空間分析: 數字地形分析 疊置分析 距離制圖 密度制圖 統計分析 重分類 三維分析

5、Python編譯環境配置 Python自帶編輯器IDLE使用 Anaconda集成環境安裝及使用 PyCharm環境安裝及使用

6、地質災害領域中大模型的潛力 風險評估:快速處理和分析地質災害相關的文本數據(如災害報告、新聞)。 知識提取:從歷史文獻中提取風險評價參數。 數據管理:輔助生成元數據描述,提升數據庫建設效率。 災后重建:協助生成重建方案和應急對策建議。

第二章、空間信息數據庫建設【基礎實踐篇】

空間數據庫建立及應用

1)地質災害風險調查評價成果信息化技術相關要求解讀

2)數學基礎設計 比例尺;坐標系類型:地理坐標系,投影坐標系;橢球參數;投影類型;坐標單位;投影帶類型等。

3)數據庫內容及要素分層 圖層劃分原則;圖層劃分及命名;圖層內部屬性表

4)數據庫建立及入庫 創建數據庫、要素集、要素類、柵格數據和關系表等。 矢量數據(shp文件)入庫 Table表入庫:將崩塌、滑坡、泥石流等表的屬性數據與災害點圖層關聯。 柵格數據入庫 柵格數據集入庫:遙感影像數據、DEM、坡度圖、坡向圖、降雨量等值線圖以及其他經過空間分析得到的各種柵格圖像入庫。

5)數據質量控制 利用Topology工具檢查點線面及其之間的拓撲關系并修改;圖屬一致性檢查與修改。

第三章、ChatGPT支持下地質災害風險評價模型與方法【實戰篇】

1、地質災害易發性評價模型與方法 評價單元確定 易發性評價指標體系 易發性評價模型 權重的確定

2、滑坡易發性評價 評價指標體系 地形:高程、坡度、溝壑密度、地勢起伏度等。 地貌:地貌單元、微地貌形態、總體地勢等。 地層巖性:巖性特征、巖層厚度、巖石成因類型等 地質構造:斷層、褶皺、節理裂隙等。

地震:烈度、動峰值加速度、歷史地震活動情況等 工程地質:區域地殼穩定性,基巖埋深,主要持力層巖性、承載力、巖土體工程地質分區等。

常用指標提取 坡度、坡型、高程、地形起伏度、斷裂帶距離、工程地質巖組、斜坡結構、植被覆蓋度、與水系距離等因子提取 ChatGPT支持: 自動提取指標的定義及適用場景。 建議新增或調整指標,根據區域特點生成個性化的指標體系。 指標因子相關性分析

(1)相關性系數計算與分析

(2)共線性診斷 評價指標信息量 評價指標權重確定 ChatGPT支持: 自動生成AHP法的權重計算表格 提供數據的統計分析代碼 使用機器學習方法計算特征權重 滑坡易發性評價結果分析與制圖 滑坡易發性綜合指數 易發性等級劃分 易發性評價結果制圖分析

3、崩塌易發性評價

4、泥石流易發性評價 泥石流評價單元提取 水文分析,溝域提取 無洼地DEM生成 水流方向提取 匯流累積量 水流長度 河網提取 流域分割 溝壑密度計算 模型構建器 水文分析工具箱制作 泥石流評價指標 崩滑嚴重性、泥沙沿程補給長度比、溝口泥石流堆積活動、溝谷縱坡降、區域構造影響程度、流域植被覆蓋度、工程地質巖組、沿溝松散堆積物儲量、流域面積、流域相對高差、河溝堵塞程度等 典型泥石流評價指標選取 評價因子權重確定 泥石流易發性評價結果分析與制圖 泥石流易發性綜合指數計算 泥石流的易發性分級確定 泥石流易發性評價結果

5、地質災害易發性綜合評價 綜合地質災害易發值=MAX [泥石流災害易發值,崩塌災害易發值,滑坡災害易發值]

第四章、ChatGPT支持下地質災害風險性、易損性、易發性評價【實戰篇】

1、地質災害風險性評價

2、危險性評價因子選取

在某種誘發因素作用下,一定區域內某一時間段發生特定規模和類型地質災害的可能性。

區域構造復雜程度,活動斷裂發育程度,地震活動等都可能誘發地質災害;強降雨的誘發,災害發生的頻率、規模也會增強地質災害發生的機率。

危險性評價因子量化

崩滑危險性因子量化

統計各級范圍內的災害個數及面積,利用信息量計算方法到各級的信息量值。

泥石流危險性評價因子權重

危險性評價與結果分析

3、地質災害易損性評價

地質災害易損性因子分析

人口易損性

房屋建筑易損性

農業易損性

林業易損性

畜牧業易損性

道路交通易損性

水域易損性

人口易損性評價因子提取

人口密度數據處理

用人口密度數據來量化人口易損性,基于各行政單元統計年鑒獲取的人口數量,結合房屋建筑區數據,量化人口的空間分布,基于GIS的網格分析,得到單位面積上的人口數量即人口密度。

易損性賦值

人口易損性因子提取

建筑易損性評價

建筑區密度數據處理

用房屋建筑區密度數據來量化房屋建筑易損性,利用房屋建筑區數據,基于GIS的網格分析,得到單位面積上的房屋建筑區面積,即房屋建筑區密度。

易損性賦值

建筑物易損性因子提取

交通設施易損性評價

道路數據的獲取

用 ArcGIS 緩沖分析功能,形成道路的面文件

不同類型的道路進行賦值

道路易損分布結果分析

綜合易損性評價

綜合易損性疊加權重

綜合易損性評價結果提取與分析

4、地質災害風險評價結果提取與分析

5、AI輔助文本生成與總結

自動化報告生成:由ChatGPT生成分析報告。

結果描述:結合分析結果,自動生成易發性、危險性及綜合風險分布的說明文字。

直觀的地圖注釋:為GIS地圖的各個風險區域生成精準且簡潔的描述性文本。

報告模板創建:幫助生成地質災害評估報告的結構化框架。

地質災害危險性評價報告

1. 引言

? ? 區域概述:描述分析區域。

? ? 數據來源:包括DEM、遙感影像、歷史災害數據。

2. 方法與模型

? ? 使用的空間分析方法及模型說明。

3. 結果

? ? 危險性分布圖說明。

? ? 高危險區、中危險區、低危險區的面積統計。

4. 結論與建議

? ? 主要發現:如某區域是滑坡的高危險區。

? ? 防災減災措施建議。

6、GPT在地質災害易發性評價中的優勢

快速分析:高效生成腳本或報告框架,簡化重復勞動。

智能建議:根據已有數據,推薦合適的模型和評價指標。

動態優化:結合交互式建議,優化評價流程和結果。

可視化支持:結合GIS工具生成易發性分布圖的說明和自動注釋。

第五章、基于ChatGPT、Python數據預處理與分析【進階篇】

1、數據類型介紹

2、點數據獲取與處理

災害點統計數據獲取與處理

氣象站點數據獲取與處理

氣象站點點位數據處理

氣象數據獲取

數據整理

探索性分析

數據插值分析

3、矢量數據的獲取與處理

道路、斷層、水系等矢量數據的獲取

歐氏距離

核密度分析

河網密度分析

4、柵格數據獲取與處理

DEM,遙感影像等柵格數據獲取

影像拼接、裁剪、掩膜等處理

NoData值處理

如何統一行列號

5、NC數據獲取與處理

NC數據簡介

NC數據獲取

模型構建器

NC數據如何轉TIF?

6、遙感云計算平臺數據獲取與處理

遙感云平臺數據簡介

如何從云平臺獲取數據?

數據上傳與下載

基本函數簡介

植被指數提取

土地利用數據獲取

7、Python數據清洗

Python庫簡介與安裝

讀取數據

統一行列數

缺失值處理

相關性分析/共線性分析

主成分分析法(PCA)降維

數據標準化

生成特征集

8、AI支持數據處理與分析

任務支持

數據格式轉換:ChatGPT可以生成指導如何在ArcGIS中進行數據格式轉換的代碼或腳本。

數據清理:使用ChatGPT生成Python代碼,處理ArcGIS無法直接清理的復雜數據問題。

自動化分析:利用GPT進行數據總結和分析報告生成。

應用場景

數據分布解讀:從空間數據中提取有意義的空間關系。

提供腳本:ChatGPT可以幫助編寫用于ArcGIS的Python腳本(如arcpy)以提高效率。

第六章、ChatGPT、GIS在災后重建過程中的應用【拓展篇】

1、土方縱坡分析

由等高線產生不規則三角網

計算工程填挖方

利用二維線要素縱剖面

臨時生成剖縱面線

2、應急救援路徑規劃分析

表面分析、成本權重距離、柵格數據距離制圖等空間分析;

利用專題地圖制圖基本方法,制作四川省茂縣地質災害應急救援路線圖,

最佳路徑的提取與分析?

3、災害恢復重建選址分析

確定選址的影響因子

確定每種影響因子的權重

收集并處理每種影響因子的數據:地形分析、距離制圖分析,重分類

恢復重建選址分析

4、震后生態環境變化分析

使用該類軟件強大的數據采集、數據處理、數據存儲與管理、空間查詢與空間分析、可視化等功能進行生態環境變化評價。

5、AI智能問答與輔助決策

?空間分析指導:用戶可以咨詢ChatGPT完成復雜空間分析(如插值分析、緩沖區分析)。

創建危險性分析腳本

import arcpy

# 定義輸入數據路徑

input_data = "path/to/landslide_data.shp"

output_analysis = "path/to/landslide_risk.gdb"

# 創建緩沖區分析

arcpy.Buffer_analysis(input_data, output_analysis, "500 Meters")

# 腳本描述

description = "為滑坡點創建500米緩沖區分析,并保存結果至指定的地理數據庫。"

實時輔助:為GIS用戶提供操作步驟或技術建議。

第七章、基于ChatGPT與Python機器學習在滑坡易發性分析、地質災害預測中的應用【高階篇】

1、Python數據清洗

Python庫簡介與安裝

讀取數據

統一行列數

缺失值處理

相關性分析/共線性分析

主成分分析法(PCA)降維

數據標準化

生成特征集

相關概念:

訓練前是否有必要對特征歸一化

為什么要處理缺失值(Nan值)

輸入的特征間相關性過高會有什么影響

什么是訓練集、測試集和驗證集;為什么要如此劃分

超參數是什么

什么是過擬合,如何避免這種現象

模型介紹:

邏輯回歸模型

隨機森林模型

支持向量機模型

實現方案:

一、線性概率模型——邏輯回歸

介紹

連接函數的選取:Sigmoid函數

致災因子數據集:數據介紹;相關性分析;邏輯回歸模型預測;樣本精度分析;分類混淆矩陣

注意事項

二、SVM支持向量機

線性分類器

SVM-核方法:核方法介紹;sklearn的SVM核方法

參量優化與調整

SVM數據集:支持向量機模型預測;樣本精度分析;分類混淆矩陣

三、Random Forest的Python實現

數據集

數據的隨機選取

待選特征的隨機選取

相關概念解釋

參量優化與調整:隨機森林決策樹深度調參;CV交叉驗證定義;混淆矩陣;樣本精度分析

基于pandas和scikit-learn實現Random Forest:數據介紹;隨機森林模型預測;樣本精度分析;分類混淆矩陣

四、XGBoost(Extreme Gradient Boosting)

XGBoost 是一種基于決策樹的梯度提升算法。它通過連續地訓練決策樹模型來最小化損失函數,從而逐步提升模型性能

數據劃分:

將數據集劃分為訓練集和測試集,采用隨機劃分或按時間序列劃分的方法。

特征工程

對數據進行特征工程,包括特征縮放、特征變換、特征組合等。

構建模型

選擇合適的模型參數,如樹的數量、樹的深度、學習率等。

模型優化:

通過交叉驗證來調整模型參數,以提高模型的泛化能力。

模型訓練

使用訓練集對 XGBoost 模型進行訓練。

通過迭代優化損失函數來提高模型性能。

模型評估

使用測試集對訓練好的模型進行評估。

使用一些常見的評估指標,如準確率、召回率、F1 分數等。

繪制 ROC 曲線或者計算 AUC 值來評估模型的性能。

結果解釋與應用:

對模型的預測結果進行解釋,分析模型的重要特征和決策規則。

五、神經網絡模型

TensorFlow主要架構

神經網絡:ANN\CNN\RNN

導入數據集

分割數據集

定義網絡架構

調用tf.keras.models.Sequential()或tf.keras.layers.Layer()創建模型

Sequential:?將多個網絡層封裝,按順序堆疊神經網絡層

Dense:?全連接層

activation:?激活函數決定神經元是否應該被激活

編譯模型

通過compile 函數指定網絡使用的優化器對象、 損失函數類型, 評價指標等設定

優化器(optimizer):運行梯度下降的組件

損失(loss):優化的指標

評估指標(metrics):在訓練過程進行評估的附加評估函數,以進一步查看有關模型性能

訓練模型

通過 fit()函數送入待訓練的數據集和驗證用的數據集,返回訓練過程中的損失值和指定的度量指標的變化情況,用于后續的可視化和模型性能評估。

循環迭代數據集多個 Epoch,每次按批產生訓練數據、 前向計算,然后通過損失函數計算誤差值,并反向傳播自動計算梯度、 更新網絡參數

評估模型

?Model.evaluate()測試模型的性能指標

模型預測

Model.predict(x)方法即可完成模型的預測

參數優化

六、集成學習方法

stacking集成算法

準備數據集:

將數據集分為訓練集和測試集。

創建基本模型:

選擇多個不同類型的基本模型,如決策樹、隨機森林、支持向量機、神經網絡等。

使用訓練集對每個基本模型進行訓練

生成基本模型的預測結果

使用訓練集對每個基本模型進行預測

對于分類問題,每個模型都會生成一個概率矩陣,每一列代表一個類別的預測概率;對于回歸問題,每個模型會生成一個預測值向量。

構建元模型:

將基本模型的預測結果作為新的特征,構建一個元模型。

元模型可以是任何機器學習模型,通常選擇簡單的模型如邏輯回歸、線性回歸或者簡單的決策樹。

使用元模型進行預測

將測試集輸入到每個基本模型中,得到預測結果。

將基本模型的預測結果輸入到元模型中進行最終的預測。

Blending融合

準備數據集:

訓練集

驗證集

測試集

創建基本模型:

? ? 選擇多個不同類型的基本模型,如決策樹、隨機森林、支持向量機、神經網絡等。

? ? 使用訓練集對每個基本模型進行訓練。

生成基本模型的預測結果:

? ? 使用訓練集對每個基本模型進行預測。

對于分類問題,每個模型會生成一個概率矩陣,每一列代表一個類別的預測概率;

對于回歸問題,每個模型會生成一個預測值向量。

創建元模型:

? ? 將基本模型的預測結果作為輸入特征,結合驗證集的真實標簽,訓練一個元模型。

? ? 元模型可以是任何機器學習模型

使用元模型進行預測:

? ? 將測試集輸入到每個基本模型中,得到它們的預測結果。

? ? 將這些基本模型的預測結果作為輸入,輸入到元模型中進行最終的預測。

四、方法比較分析

模型性能評估:K 折交叉驗證的方法

精度分析:accuracy;precision;recall;F1-score,AUC

五、AI輔助模型訓練與預測

生成機器學習代碼:ChatGPT可以生成用于訓練和部署地質災害預測模型的代碼,例如基于滑坡易發性評價指標的隨機森林或邏輯回歸。

結果解釋:結合GIS中的地理數據,提供模型預測的解釋性分析。

AI增強的空間分析:利用ChatGPT解釋ArcGIS生成的模型數據(如危險性分布圖)。

代碼優化:通過ChatGPT優化地質災害預測的模型代碼。

第八章、ChatGPT在SCI論文撰寫中的應用

1、論文寫作要點分析

利用ChatGPT和相關AI工具分別梳理 AI 技術、GIS 在地質災害防治領域的國內外研究進展,指出當前研究的不足,如數據融合不充分、模型精度待提高等,明確本研究的切入點。

2、論文投稿技巧分析

3、論文案例分析

4、ChatGPT在SCI論文撰寫中的應用

引言和綜述

快速整理和總結大量文獻。

自動生成研究背景和意義描述。

數據分析與方法描述

提供代碼模板完成數據分析。

幫助編寫復雜方法的通俗化描述。

語言潤色

檢查語法、拼寫和語句流暢性。

改進句式表達,使其更符合學術風格。

結果與討論

自動生成結果描述和數據解釋。

提供與現有研究對比的論述建議。

參考文獻管理

根據引用文獻快速生成APA、MLA等格式的參考文獻。

輔助檢索相關研究文獻。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/74213.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/74213.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/74213.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

單表達式倒計時工具:datetime的極度優雅(智普清言)

一個簡單表達式,也可以優雅自成工具。 筆記模板由python腳本于2025-03-22 20:25:49創建,本篇筆記適合任意喜歡學習的coder翻閱。 【學習的細節是歡悅的歷程】 博客的核心價值:在于輸出思考與經驗,而不僅僅是知識的簡單復述。 Pyth…

最優編碼樹的雙子性

現在看一些書,不太愿意在書上面做一些標記,也沒啥特殊的原因。。哈哈。 樹的定義 無環連通圖,極小連通圖,極大無環圖。 度 某個節點,描述它的度,一般默認是出度,分叉的邊的條數。或者說孩子…

MiB和MB

本文來自騰訊元寶 MiB 和 ?MB 有區別,盡管它們都用于表示數據存儲的單位,但它們的計算方式不同,分別基于不同的進制系統。 1. ?MiB(Mebibyte)? ?MiB 是基于二進制的單位,使用1024作為基數。1 MiB 102…

Labview和C#調用KNX API 相關東西

敘述:完全沒有聽說過KNX這個協議...................我這次項目中也是簡單的用了一下沒有過多的去研究 C#調用示例工程鏈接(labview調用示例在 DEBUG文件夾里面) 通過網盤分享的文件:KNX調用示例.zip 鏈接: https://pan.baidu.com/s/1NQUEYM11HID0M4ksetrTyg?pwd…

損失函數理解(二)——交叉熵損失

損失函數的目的是為了定量描述不同模型(例如神經網絡模型和人腦模型)的差異。 交叉熵,顧名思義,與熵有關,先把模型換成熵這么一個數值,然后用這個數值比較不同模型之間的差異。 為什么要做這一步轉換&…

Kubernetes的Replica Set和ReplicaController有什么區別

ReplicaSet 和 ReplicationController 是 Kubernetes 中用于管理應用程序副本的兩種資源,它們有類似的功能,但 ReplicaSet 是 ReplicationController 的增強版本。 以下是它們的主要區別: 1. 功能的演進 ReplicationController 是 Kubernete…

信息系統運行管理員教程3--信息系統設施運維

第3章 信息系統設施運維 信息系統設施是支撐信息系統業務活動的信息系統軟硬件資產及環境。 第1節 信息系統設施運維的管理體系 信息系統設施運維的范圍包含信息系統涉及的所有設備及環境,主要包括基礎環境、硬件設備、網絡設備、基礎軟件等。 信息系統設施運維…

如何通過Python實現自動化任務:從入門到實踐

在當今快節奏的數字化時代,自動化技術正逐漸成為提高工作效率的利器。無論是處理重復性任務,還是管理復雜的工作流程,自動化都能為我們節省大量時間和精力。本文將以Python為例,帶你從零開始學習如何實現自動化任務,并通過一個實際案例展示其強大功能。 一、為什么選擇Pyt…

Spring Boot 與 MyBatis Plus 整合 KWDB 實現 JDBC 數據訪問

? 引言 本文主要介紹如何在 IDEA 中搭建一個使用 Maven 管理的 Spring Boot 應用項目工程,并結合在本地搭建的 KWDB 數據庫(版本為:2.0.3)來演示 Spring Boot 與 MyBatis Plus 的集成,以及對 KWDB 數據庫的數據操作…

Java鎖等待喚醒機制

在 Java 并發編程中,鎖的等待和喚醒機制至關重要,通常使用 wait()、notify() 和 notifyAll() 來實現線程間的協調。本文將詳細介紹這些方法的用法,并通過示例代碼加以說明。 1. wait()、notify() 與 notifyAll() 在 Java 中,Obj…

? UNIX網絡編程筆記:TCP客戶/服務器程序示例

服務器實例 有個著名的項目&#xff0c;tiny web&#xff0c;本項目將其改到windows下&#xff0c;并使用RAII重構&#xff0c;編寫過程中對于內存泄漏確實很頭疼&#xff0c;還沒寫完&#xff0c;后面會繼續更&#xff1a; #include <iostream> #include <vector&g…

AI Agent開發大全第四課-提示語工程:從簡單命令到AI對話的“魔法”公式

什么是提示語工程&#xff1f;一個讓AI“聽話”的秘密 如果你曾經嘗試過用ChatGPT或者其他大語言模型完成任務&#xff0c;那么你一定遇到過這樣的情況&#xff1a;明明你的問題是清晰的&#xff0c;但答案卻離題萬里&#xff1b;或者你認為自己提供的信息足夠詳盡&#xff0c…

系統架構設計知識體系總結

1.技術選型 1.什么是技術選型&#xff1f; 技術選型是指評估和選擇在項目或系統開發中使用的最合適的技術和工具的過程。這涉及考慮基于其能力、特性、與項目需求的兼容性、可擴展性、性能、維護和其他因素的各種可用選項。技術選型的目標是確定與項目目標相符合、能夠有效解…

基于3DMax與Vray引擎的輕量級室內場景渲染實踐

歡迎踏入3DMAX室內渲染的沉浸式學習之旅!在這個精心設計的實戰教程中,我們將攜手揭開3DMAX與Vray這對黃金搭檔在打造現實室內場景時的核心奧秘。無論您是渴望入門的3D新手,還是追求極致效果的專業設計師,這里都將為您呈現從場景藍圖構建到光影魔法施加的完整技術圖譜。我們…

邏輯卷,vdo,(阿里加速器)

一、邏輯卷 10 20 30 1.邏輯卷的2個特點 &#xff08;1&#xff09;邏輯卷可以將多個分區或者磁盤整合成一個更大的邏輯磁盤&#xff0c;然后可以從邏輯磁盤上劃分出分區&#xff08;邏輯磁盤的大小等于整合的物理磁盤大小之和。&#xff09; &#xff08;2&#xff09;能…

檢索增強生成(2)本地PDF 本地嵌入模型

from langchain_community.document_loaders import PyPDFLoader from pathlib import Pathdef load_local_pdf(file_path):if not Path(file_path).exists():raise FileNotFoundError(f"文件 {file_path} 不存在&#xff01;")loader PyPDFLoader(file_path)try:do…

安全守護:反光衣檢測技術的革新之路

視覺分析助力船上工人反光衣檢測 在現代工業生產與作業環境中&#xff0c;安全始終是首要考慮的因素。對于水上作業&#xff0c;如船舶維護、海上施工等場景&#xff0c;工人穿戴反光衣是預防事故、提高可見性的重要措施。然而&#xff0c;傳統的人工檢查方式不僅效率低下&…

【Scrapy】Scrapy教程8——處理子鏈接

通過前面幾篇文章,已經了解了如何去爬取網頁內容并存儲到數據庫,但是目前只是存儲了一個頁面的內容,現在想要獲取每篇文章鏈接內的文章內容,我們來看看怎么獲取。 生成新請求 首先我們肯定要先拿到鏈接,所以第一步都獲取文章標題和鏈接肯定少不了,然后再爬取獲取到到子…

Centos6配置yum源

Centos6配置yum源 為Centos6配置CentOS Vault源—防止yum源過期為Centos6配置epel源為Centos6配置ELRepo源---已ELRepo被官方清空Centos6安裝dockerdocker配置國內鏡像加速 為Centos6配置CentOS Vault源—防止yum源過期 參考&#xff1a;https://mirrors.ustc.edu.cn/help/cen…

“智改數轉”新風口,物聯網如何重構制造業競爭力?

一、政策背景 為深化制造業智能化改造、數字化轉型、網絡化聯接&#xff0c;江蘇省制定了《江蘇省深化制造業智能化改造數字化轉型網絡化聯接三年行動計劃&#xff08;2025&#xff0d;2027年&#xff09;》&#xff0c;提出到2027年&#xff0c;全省制造業企業設備更新、工藝…