隨著航空、航天、近地空間等多個遙感平臺的不斷發展,近年來遙感技術突飛猛進。由此,遙感數據的空間、時間、光譜分辨率不斷提高,數據量也大幅增長,使其越來越具有大數據特征。對于相關研究而言,遙感大數據的出現為其提供了前所未有的機遇,但同時也提出了巨大的挑戰。傳統的工作站和服務器已經無法滿足大區域、多尺度海量遙感數據處理的需要。
為解決這一問題,國內外涌現了許多全球尺度地球科學數據(尤其是衛星遙感數據)在線可視化計算和分析云平臺如谷歌Earth Engine(GEE)、航天宏圖的PIE Engine和阿里的AI Earth等。其中,Earth Engine最為強大,能夠存取和同步遙感領域目前常用的MODIS、Landsat和Sentinel等衛星圖像和NCEP等氣象再分析數據集,同時依托全球上百萬臺超級服務器,提供足夠的運算能力對這些數據進行處理。目前,Earth Engine上包含超過900個公共數據集,每月新增約2 PB數據,總容量超過80PB。與傳統的處理影像工具(例如ENVI)相比,Earth Engine在處理海量遙感數據方面具有不可比擬的優勢。一方面,它提供了豐富的計算資源;另一方面,其巨大的云存儲能力節省了科研人員大量的數據下載和預處理時間。可以說,Earth Engine在遙感數據的計算和分析可視化方面代表世界該領域最前沿水平,是遙感領域的一次革命。
如今,Earth Engine憑借其強大的功能正受到越來越多國內外科技工作者的關注,應用范圍也在不斷擴大。本課程致力于幫助科研工作者掌握Earth Engine的實際應用能力,以Python編程語言為基礎,結合實例講解平臺搭建、影像數據分析、經典應用案例、本地與云端數據管理,以及云端數據論文出版級可視化等方面的進階技能。
原文鏈接https://mp.weixin.qq.com/s?__biz=MzUyNzczMTI4Mg==&mid=2247691777&idx=4&sn=d087d1a7da783724654ae0e9289a1de5&chksm=fa76b13ccd01382ac1063e40ec1766ce7aa0a071679ffb5a9cc7e7856b5e9d12dcc38fd03d6d&token=224152079&lang=zh_CN#rd
第一章、理論基礎
1、Earth Engine平臺及應用、主要數據資源介紹
2、Earth Engine遙感云重要概念、數據類型與對象等
3、JavaScript與Python遙感云編程比較與選擇
4、Python基礎(語法、數據類型與程序控制結構、函數及類與對象等)
5、常用Python軟件包((pandas、numpy、os等)介紹及基本功能演示(Excel/csv數據文件讀取與數據處理、目錄操作等)
6、JavaScript和Python遙感云API差異,學習方法及資源推薦
7、ChatGPT、文心一言等AI自然語言模型介紹及其遙感領域中的應用
第二章、開發環境搭建
1、本地端與云端Python遙感云開發環境介紹
2、本地端開發環境搭建
1)Anaconda安裝,pip/conda軟件包安裝方法和虛擬環境創建等;
2)earthengine-api、geemap等必備軟件包安裝;
3)遙感云本地端授權管理;
4)Jupyter Notebook/Visual Studio Code安裝及運行調試。?
3、云端Colab開發環境搭建
4、geemap介紹及常用功能演示
5、ChatGPT、文心一言帳號申請與主要功能演示,如遙感知識解答、數據分析處理代碼生成、方案框架咨詢等。
第三章、遙感大數據處理基礎與ChatGPT等AI模型交互
1、遙感云平臺影像數據分析處理流程介紹:介紹遙感云平臺影像數據分析處理流程的基本框架,包括數據獲取、數據預處理、算法開發、可視化等。
2、要素和影像等對象顯示和屬性字段探索:介紹如何在遙感云平臺上顯示和探索要素和影像等對象的屬性字段,包括如何選擇要素和影像對象、查看屬性信息、篩選數據等。
3、影像/要素集的時間、空間和屬性過濾方法:介紹如何對影像/要素集進行時間、空間和屬性過濾,包括如何選擇時間段、地理區域和屬性條件,以實現更精確的數據分析。
4、波段運算、條件運算、植被指數計算、裁剪和鑲嵌等:介紹如何在遙感云平臺上進行波段運算、條件運算、植被指數計算、裁剪和鑲嵌等操作,以實現更深入的數據分析。
5、Landsat/Sentinel-2等常用光學影像去云:介紹如何在遙感云平臺上使用不同方法去除Landsat/Sentinel-2等常用光學影像中的云,以提高影像數據質量。
6、影像與要素集的迭代循環:介紹如何使用遙感云平臺的迭代循環功能對影像和要素集進行批量處理,以提高數據分析效率。
7、影像數據整合(Reducer):介紹如何使用遙感云平臺的Reducer功能將多個影像數據整合成一個數據集,以方便后續數據分析。
8、鄰域分析與空間統計:介紹如何在遙感云平臺上進行鄰域分析和空間統計,以獲取更深入的空間信息。
9、常見錯誤與代碼優化:介紹遙感云平臺數據分析過程中常見的錯誤和如何進行代碼優化,以提高數據分析效率和精度。
10、Python遙感云數據分析專屬包構建:介紹如何使用Python在遙感云平臺上構建數據分析專屬包,以方便多次使用和分享分析代碼。
第四章、典型案例操作實踐
11、機器學習分類算法案例:本案例聯合Landsat等長時間序列影像和機器學習算法展示國家尺度的基本遙感分類過程。具體內容包括研究區影像統計、空間分層隨機抽樣、樣本隨機切分、時間序列影像預處理和合成、機器學習算法應用、分類后處理和精度評估等方面。
12、決策樹森林分類算法案例:本案例聯合L波段雷達和Landsat光學時間序列影像,使用決策樹分類算法提取指定地區2007-2020年度森林分布圖,并與JAXA年度森林產品進行空間比較。案例涉及多源數據聯合使用、決策樹分類算法構建、閾值動態優化、分類結果空間分析等方面。
13、洪澇災害監測案例:本案例基于Sentinel-1 C波段雷達等影像,對省級尺度的特大暴雨災害進行監測。案例內容包括Sentinel-1 C影像處理、多種水體識別算法構建、影像差異分析以及結果可視化等方面。
14、干旱遙感監測案例:本案例使用40年歷史的衛星遙感降雨數據產品如CHIRPS來監測省級尺度的特大干旱情況。案例內容包括氣象數據基本處理、年和月尺度數據整合、長期平均值LPA/偏差計算,以及數據結果可視化等方面。
15、物候特征分析案例:本案例基于Landsat和MODIS等時間序列影像,通過植被指數變化分析典型地表植被多年的物候差異(樣點尺度)和大尺度(如中國)的物候空間變化特征。案例內容包括時間序列影像合成、影像平滑(Smoothing)與間隙填充(Gap-filling)、結果可視化等方面。
16、森林生物量遙感反演案例:本案例聯合GEDI激光雷達、Landsat/Sentinel-2多光譜光學影像反演森林生物量/碳儲量。涉及GEDI激光雷達數據介紹、Landsat/Sentinel-2光學影像處理、生物量反演指標提取與相關性分析、與特征集篩選(如XGboot、遞歸特征消除RFE、SelectKBest等)與機器學習建模、變量重要度分析和可視化等內容。
17、生態環境質量動態監測案例:該案例使用RSEI遙感生態指數和Landsat系列影像,對選定城市的生態狀況進行快速監測。主要涉及的技術包括植被指數的計算、地表溫度的提取、數據的歸一化、主成分PCA分析、RSEI生態指數的構建以及結果的可視化等。
18、高分遙感影像分割案例:該案例使用Segment Anything Model (SMA)對指定區域的高分辨率遙感影像進行分割,數據可視化和分割矢量結果保存等。主要涉及GPU虛擬環境搭建,軟件包安裝,程序調試及影像分割技巧等。
第五章、輸入輸出及數據資產高效管理
1.本地數據與云端交互:介紹如何將本地端csv、kml、矢量和柵格數據與云端數據相互轉換,并講解數據導出的方法。
2.服務器端數據批量下載:包括直接本地下載、影像集批量下載,以及如何快速下載大尺度和長時間序列數據產品,例如GEE云端全球森林產品和20年8天尺度MODIS數據產品下載。
3.本地端數據上傳與屬性設置:包括earthengine命令使用,介紹如何上傳少量本地端矢量與柵格數據并設置屬性(小文件),以及如何批量上傳數據并自動設置屬性,還將介紹如何使用快速上傳技巧上傳超大影像文件,例如國產高分影像。
4.個人數據資產管理:介紹如何使用Python和earthengine命令行來管理個人數據資產,包括創建、刪除、移動、重命名等操作,同時還會講解如何批量取消上傳/下載任務。
第六章、云端數據論文出版級可視化
1.Python可視化及主要軟件包簡介:介紹matplotlib和seaborn可視化程序包,講解基本圖形概念、圖形構成以及快速繪制常用圖形等內容。
2.研究區地形及樣地分布圖繪制:結合本地或云端矢量文件、云端地形數據等,繪制研究區示意圖。涉及繪圖流程、中文顯示、配色美化等內容,還會介紹cpt-city精美調色板palette在線下載與本地端應用等。
3.研究區域影像覆蓋統計和繪圖:對指定區域的Landsat和Sentinel等系列影像的覆蓋數量、無云影像覆蓋情況進行統計,繪制區域影像統計圖或像元級無云影像覆蓋專題圖。
4.樣本光譜特征與物候特征等分析繪圖:快速繪制不同類型樣地的光譜和物候特征,動態下載并整合樣點過去30年縮略圖(thumbnails)和植被指數時間序列等。
5.分類結果專題圖繪制及時空動態延時攝影Timelapse制作:單幅或多幅分類專題圖繪制及配色美化,制作土地利用變化清晰的Timelapse,還會介紹動畫文字添加等內容。
6.分類結果面積統計與繪圖:基于云端的分類結果和矢量邊界文件,統計不同區域不同地類面積,提取統計結果,以不同圖形展示統計面積;制作土地利用變化統計繪圖等。
python-GEE遙感大數據https://mp.weixin.qq.com/s?__biz=MzUyNzczMTI4Mg==&mid=2247691777&idx=4&sn=d087d1a7da783724654ae0e9289a1de5&chksm=fa76b13ccd01382ac1063e40ec1766ce7aa0a071679ffb5a9cc7e7856b5e9d12dcc38fd03d6d&token=224152079&lang=zh_CN#rd