內容覆蓋使用GPT處理數據、生成論文摘要、文獻綜述、技術方法分析等實戰案例,將AI技術廣泛應用于科研工作。特別關注將GPT與Python結合應用于遙感降水數據處理、ERA5大氣再分析數據的統計分析、干旱監測及風能和太陽能資源評估等大氣科學關鍵場景。旨在提升參與者在數據分析、趨勢預測和資源評估等方面的能力,激發創新思維,并通過實踐操作深化對AI在氣象數據分析中應用的理解。
專題一 預備知識
1.AI領域常見工具模型
1.1OpenAI模型-GPT-4 1.2谷歌新模型-Gemini
1.3 Meta新模型-LLama 1.4科大訊飛-星火認知
1.5百度-文心一言 1.6MoonshotAI-Kimi
2.POE平臺及ChatGPT使用方法
2.1POE使用方法 2.2ChatGPT使用方法
3.提示詞工程
3.1提示詞工程介紹 3.2提示詞工程 3.3提示詞常見模板
4.Python簡明教程
4.1 Python基本語法 4.2 Numpy使用 4.3 Pandas使用 4.4 Xarray使用 4.5 Matplotlib使用
專題二 科研輔助專題
1.GPT作為科研工具
1.1把GPT當作搜索引擎
1.2把GPT當作翻譯軟件
1.3把GPT當作潤色工具
1.4用GPT提取整理文章數據
1.5用GPT數據處理
2.GPT作為科研助手生成
2.1用GPT分析結果
2.2用GPT總結生成論文摘要
2.3用GPT總結生成文獻綜述
2.4用GPT分析論文技術方法
2.5用GPT分析代碼
2.6用GPT分析論文公式
2.7用GPT識別圖片并分析
2.8 DIY:上傳本地PDF資料
?用GPT分析相關資料中提出問題
?用GPT總結評價(評閱、審稿意見)
3.GPT作為輔助工具下載數據
3.1使用GPT生成PERSIANN /GSMaP數據的下載代碼
3.2使用GPT生成代碼下載GSOD數據
3.3使用GPT生成代碼下載NCEP/NCAR再分析數據
3.4使用GPT生成代碼下載GFS預報數據
專題三 可視化專題
1.繪制常見統計圖
2.繪制風場圖、風羽圖、風矢圖、流線圖
3.通過GPT繪制雙Y軸
4.風玫瑰圖
5.填充圖
6.繪制添加子圖
7.繪制期刊常見圖
專題四 站點數據處理
使用GPT處理/生成相應代碼,實現下列目標:
1.讀取多種來源原始數據(ISD、GSDO)
2.缺失值處理
2.1缺失值統計
2.2常見統計方法缺失值填補
2.3機器學習方法填補數據
3.數據質量控制
3.1基于統計閾值的異常檢測
3.2基于機器學習的異常檢測(Isolation Forest等方法)
3.3多變量數據的異常檢測(服務于自動氣象站數據)
3.4基于時間序列方法均一化檢驗(服務于長時間氣候變化評估)
4.時間序列的趨勢
4.1移動平均法
4.2分解法(STL, Seasonal and Trend decomposition using loess)
4.3 Sen’s斜率
5.時間序列的突變檢驗
5.1 MK (Mann-Kendall): Mann-Kendall趨勢檢驗(用于分析數據集中的趨勢變化)
5.2 Pettitt: Pettitt檢驗(非參數檢驗方法,用于檢測時間序列中的單一變化點)
5.3 BUT (Buishand U Test): Buishand U型統計檢驗
5.4 SNHT (Standard Normal Homogeneity Test): 標準正態同質性檢驗(常用于氣候數據的同質性檢測)
5.5 BG (Buishand Range Test): Buishand范圍檢驗
6.時間序列周期分析
6.1功率譜方法提取周期(提取氣溫、降水等周期)
6.2小波分析方法提取周期
6.3EMD經驗模態分解
6.4EEMD集成經驗模態分解
7.不同時間尺度上的統計
8.回歸分析
8.1線性回歸(Linear Regression):簡單線性回歸、多元線性回歸等
8.2多項式回歸(Polynomial Regression):
8.3非參數回歸(Non-parametric Regression):
9.相關分析
9.1常見的相關系數(Pearson Correlation Coefficient、Spearman's Rank Correlation Coefficient)
9.2偏相關分析(Partial Correlation)
9.3典型相關分析(Canonical Correlation Analysis, CCA)
10.站點數據的空間化
10.1克里格插值
10.2臨近點插值
10.3反距插值
10.4基于高程模型的外推
專題五 WRF專題
1.靜態數據的替換
1.1使用Python生成WPS的靜態數據
?A替換反照率和LAI數據
GPT生成轉化GLASS(The Global Land Surface Satellite (GLASS) Product suite)替換默認粗分辨率數據。
?B替換土地利用
GPT將多分類的ECI CCI土地利用數據分類進行整合,使之能夠用于WPS系統;GPT生成轉化代碼,將數據轉化為WPS可讀取的二進制格式
?使用Python更改WRF初始場
GPT生成代碼修改WRF初始場文件,并替換土地利用、地表反照率等靜態數據
2.生成WRF配置文件
2.1在指定的地區推薦WRF namelist.input文件相關參數
2.2補全相關參數信息
3.WRF的后處理
3.1站點插值
3.2能見度計算
3.3垂直高度變量插值
3.4降水相態辨識
3.5水汽通量
4.WRF的評估
4.1格點尺度評估
4.2點尺度評估
4.3模態評估
專題六 遙感降水專題
1.將PERSSIAN/GSMaP數據轉化為netCDF格式
2.合并數據
3.時間域統計并可視化
4.空間域統計并可視化
5.常見統計評估指標
?生成統計指標空間圖
?生成泰勒圖
?生成衛星降雨散點密度圖
專題七 再分析數據專題
1.ERA5再分析數據
1.1ERA5數據的下載 1.2ERA5數據預處理 1.3多時間尺度統計 1.4干旱監測
?計算標準化降水蒸散指數(SPEI)或標準化降水指數(SPI)作為干旱監測的指標。
?根據土壤濕度和降水量數據,使用時間序列分析和閾值判斷來評估干旱風險等級。
1.5極端指數計算
?連續干旱天數?夏日指數?R99極端降水指數等
1.6趨勢分析
?滑動平均?累積距平?趨勢分析代碼?時間序列分析
2.多套再分析數據的氣候趨勢分析
2.1對比NCEP/NCAR、ERA5、CRU等均值 2.2趨勢分析
3.風能資源評估
3.1計算研究區域內多年的平均風速
3.2計算風速的季節性變化和年際變異性
3.3計算空氣密度
3.4計算盛行風
3.5計算風功率
3.6計算weibull分布
3.7基于站點和WRF模式的分析
3.8基于ERA5計算風功率
4.太陽能資源評估
4.1計算每天的平均太陽輻射量
4.2分析日、月和季節性氣候態時空格局
4.3計算趨勢
專題八 CMIP6未來氣候專題
1.數據預處理
1.1使用NetCDF工具(xarray)讀取數據 1.2裁剪時間范圍和空間范圍
2.計算區域平均溫度
2.1對于全球平均溫度加權平均 2.2對于特定區域,直接計算平均值
3.趨勢分析:使用統計方法(如線性回歸)分析溫度隨時間的變化趨勢
4.可視化
4.1繪制時間序列圖顯示溫度趨勢
4.2使用地圖可視化工具(basemap)展示空間分布的變化
專題九 基于機器學習方法判斷天氣晴雨
1.預處理
1.1缺失值處理:使用適當的策略填充或刪除數據中的缺失值
1.2數據探索:通過統計摘要、可視化方法(如直方圖、箱線圖)來理解數據的分布、異常值情況和變量之間的關系
1.3數據標準化/歸一化
1.4數據類型轉換:將分類變量轉換為數值型,使用獨熱編碼(One-Hot Encoding)或標簽編碼(Label Encoding)
2.數據采樣
2.1均衡采樣:對不平衡的數據集進行重采樣,確保各類別樣本數量大致相同?
2.2分層抽樣:確保訓練集和測試集中各類別樣本的比例與原數據集相同,使用分層采樣技術。
2.3交叉驗證分割:采用交叉驗證的方法來進行更可靠的模型評估,如K折交叉驗證,保證每個樣本被用于訓練和驗證。
2.4時間序列分割:對于時間序列數據,使用時間順序分割數據,確保訓練集中的數據點時間上早于測試集中的數據點。
3.特征工程
3.1特征選擇:使用統計測試、模型系數或樹模型的特征重要性來選擇最有信息量的特征
3.2降維:使用主成分分析(PCA)、線性判別分析(LDA)等方法減少特征的維度
3.3多項式特征:生成特征的多項式組合,如平方項、交互項,以捕捉特征之間的非線性關系
4.模型建模與堆疊
4.1單模型訓練:如決策樹、SVM、隨機森林。
4.2模型堆疊:使用mlxtend庫或自定義方法實現模型堆疊,結合不同模型的預測結果作為新的特征,訓練一個新的模型。
4.3調參:使用網格搜索(GridSearchCV)或隨機搜索(RandomizedSearchCV)等方法優化模型參數。
4.4集成學習:除了堆疊,還可以探索其他集成方法,如Bagging和Boosting,以提高模型的穩定性和準確性。
5.模型評估
5.1性能指標:根據問題類型(分類或回歸)選擇合適的評估指標,如準確度、召回率、F1分數、AUC值、均方誤差
5.2模型解釋性:使用SHAP對模型的預測進行解釋,提高模型的可解釋性
★ 點 擊 下 方 關 注,獲取海量教程和資源!
↓↓↓