Python從0到100（三十三）：xpath和lxml類庫

在這里插入圖片描述

1. 為什么要學習xpath和lxml

lxml是一款高性能的 Python HTML/XML 解析器，我們可以利用XPath，來快速的定位特定元素以及獲取節點信息

2. 什么是xpath

XPath，全稱為XML Path Language，是一種用于在XML文檔中進行導航和數據提取的語言，可用來在 HTML\XML 文檔中對元素和屬性進行遍歷。

W3School官方文檔：http://www.w3school.com.cn/xpath/index.asp

3. 認識xml

知識點：

html和xml的區別
xml中各個元素的的關系和屬性

3.1 html和xml的區別

HTML（HyperText Markup Language）和XML（eXtensible Markup Language）都是用于描述數據的標記語言，但它們之間存在一些關鍵的區別：

目的：
- HTML：設計用來創建和展示網頁內容。
- XML：設計用來存儲和傳輸數據，不定義數據的顯示方式。
標準性：
- HTML：有固定的標簽集，如<p>、<div>、<a>等。
- XML：允許用戶定義自己的標簽，提供了極大的靈活性。
結構性：
- HTML：結構相對寬松，某些標簽可以不閉合或不嚴格遵守嵌套規則。
- XML：非常嚴格，所有標簽必須正確閉合，并且必須正確嵌套。
數據表示：
- HTML：主要用于展示數據，不關注數據的結構和語義。
- XML：強調數據的結構和語義，適合數據的存儲和交換。
樣式和行為：
- HTML：可以內嵌CSS和JavaScript來控制樣式和行為。
- XML：不包含樣式和行為的定義，通常需要與XSL（eXtensible Stylesheet Language）或XSLT（eXtensible Stylesheet Language Transformations）結合使用來定義樣式和轉換數據。
錯誤容忍度：
- HTML：瀏覽器對HTML的錯誤相對寬容，即使某些標簽使用不當，頁面仍可能顯示。
- XML：對錯誤非常敏感，如果XML文檔格式有誤，通常無法被正確解析。
文檔類型：
- HTML：通常不需要文檔類型聲明（DOCTYPE）或可以有簡化的聲明。
- XML：每個XML文檔都需要一個文檔類型聲明來指示使用的是XML。
應用范圍：
- HTML：主要用于網頁設計和開發。
- XML：應用范圍廣泛，包括配置文件、數據交換格式、RSS feeds等。
命名空間：
- HTML：不支持命名空間。
- XML：支持命名空間，有助于解決不同XML文檔中標簽名稱沖突的問題。
擴展性：
- HTML：擴展性有限，受限于其固定的標簽集。
- XML：高度可擴展，用戶可以根據需要創建新的標簽和屬性。

盡管HTML和XML在某些方面相似，但它們的設計目標和使用方式有著根本的不同。HTML專注于網頁內容的展示，而XML則是一種更為通用的數據交換格式。

3.2 xml的樹結構

<bookstore>
<book category="COOKING"><title lang="en">Everyday Italian</title> <author>Giada De Laurentiis</author> <year>2005</year> <price>30.00</price> 
</book>
<book category="CHILDREN"><title lang="en">Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> 
</book>
<book category="WEB"><title lang="en">Learning XML</title> <author>Erik T. Ray</author> <year>2003</year> <price>39.95</price> 
</book>
</bookstore>

4. xpath的節點關系

知識點：

認識xpath中的節點
了解xpath中節點之間的關系

4.1 xpath中的節點是什么

每個XML的標簽我們都稱之為節點，其中最頂層的節點稱為根節點。

XPath（XML Path Language）是一種用于在XML文檔中進行導航的語言，它允許你選擇節點或節點集，并對它們進行操作。在XPath中，節點是文檔結構的基本單元，包括以下幾種類型：

元素節點：XML文檔中的標簽，如<book>、<title>等。
屬性節點：元素的屬性，如<book lang="English">中的lang="English"。
文本節點：元素內的文本內容，如<name>John Doe</name>中的John Doe。
命名空間節點：XML文檔中的命名空間聲明。
處理指令節點：XML文檔中的處理指令，如<?xml-stylesheet type="text/xsl" href="style.xsl"?>。
注釋節點：XML文檔中的注釋部分。
根節點：XML文檔的根元素，它是所有其他節點的父節點。

4.2 xpath中節點的關系

在XPath中，節點之間的關系可以描述如下：

父節點：一個節點的直接上級節點。例如，在<parent><child/></parent>中，<parent>是<child>的父節點。
子節點：一個節點的直接下級節點。在上述例子中，<child>是<parent>的子節點。
兄弟節點：具有相同父節點的節點。例如，在<parent><child1/><child2/></parent>中，<child1>和<child2>互為兄弟節點。
祖先節點：從當前節點向上直到根節點的所有節點。例如，在<grandparent><parent><child/></parent></grandparent>中，<grandparent>和<parent>都是<child>的祖先節點。
后代節點：從當前節點向下直到最后一個子節點的所有節點。在上述例子中，<child>是<grandparent>和<parent>的后代節點。
前序節點：包括當前節點及其所有祖先節點。
后序節點：包括當前節點及其所有后代節點。
軸：XPath中用于描述節點之間關系的術語，如子軸（child axis）、父軸（parent axis）、祖先軸（ancestor axis）和后代軸（descendant axis）等。

XPath提供了豐富的路徑表達式和函數，允許用戶根據這些節點關系來選擇和操作XML文檔中的特定部分。例如，使用//可以選取文檔中的所有后代節點，無論它們位于文檔的哪個位置。使用/可以選取根節點的子節點，而.代表當前節點。

5. xpath中節點選擇的工具

Chrome插件 XPath Helper
- 下載地址：https://pan.baidu.com/s/1UM94dcwgus4SgECuoJ-Jcg 密碼:337b
- 把文件的后綴名crx改為rar，然后解壓到xpath_…
- 把解壓后的文件夾拖入到已經開啟開發者模式的chrome瀏覽器擴展程序界面
- 重啟瀏覽器
Firefox插件 XPath Checker

注意：
這些工具是用來學習xpath語法的，他們都是從elements中匹配數據，elements中的數據和url地址對應的響應不相同，所以在代碼中，不建議使用這些工具進行數據的提取

6. xpath語法

知識點

掌握元素路徑的相關方法
掌握獲取獲取屬性的方法
掌握獲取文本的方法

我們將在下面的例子中使用這個 XML 文檔。

<bookstore><book><title lang="eng">Harry Potter</title><price>29.99</price>
</book><book><title lang="eng">Learning XML</title><price>39.95</price>
</book></bookstore>

6.1 選取節點

XPath 使用路徑表達式來選取 XML 文檔中的節點或者節點集。這些路徑表達式和我們在常規的電腦文件系統中看到的表達式非常相似。

使用chrome插件選擇標簽時候，選中時，選中的標簽會添加屬性class=“xh-highlight”

下面列出了最有用的表達式：

表達式	描述
nodename	選中該元素。
/	從根節點選取、或者是元素和元素間的過渡。
//	從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置。
.	選取當前節點。
…	選取當前節點的父節點。
@	選取屬性。
text()	選取文本。

實例

在下面的表格中，我們已列出了一些路徑表達式以及表達式的結果：

路徑表達式	結果
bookstore	選擇bookstore元素。
/bookstore	選取根元素 bookstore。注釋：假如路徑起始于正斜杠( / )，則此路徑始終代表到某元素的絕對路徑！
bookstore/book	選取屬于 bookstore 的子元素的所有 book 元素。
//book	選取所有 book 子元素，而不管它們在文檔中的位置。
bookstore//book	選擇屬于 bookstore 元素的后代的所有 book 元素，而不管它們位于 bookstore 之下的什么位置。
//book/title/@lang	選擇所有的book下面的title中的lang屬性的值。
//book/title/text()	選擇所有的book下面的title的文本。

xpath基礎語法練習：

接下來我們聽過豆瓣電影top250的頁面來練習上述語法

https://movie.douban.com/top250

選擇所有的h1下的文本
- //h1/text()
獲取所有的a標簽的href
- //a/@href
獲取html下的head下的title的文本
- /html/head/title/text()
獲取html下的head下的link標簽的href
- /html/head/link/@href

但是當我們需要選擇所有的電影名稱的時候會特別費力，通過下一小節的學習，就能夠解決這個問題

6.2 查找特定的節點

路徑表達式	結果
//title[@lang=“eng”]	選擇lang屬性值為eng的所有title元素
/bookstore/book[1]	選取屬于 bookstore 子元素的第一個 book 元素。
/bookstore/book[last()]	選取屬于 bookstore 子元素的最后一個 book 元素。
/bookstore/book[last()-1]	選取屬于 bookstore 子元素的倒數第二個 book 元素。
/bookstore/book[position()>1]	選擇bookstore下面的book元素，從第二個開始選擇
//book/title[text()=‘Harry Potter’]	選擇所有book下的title元素，僅僅選擇文本為Harry Potter的title元素
/bookstore/book[price>35.00]/title	選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大于 35.00。

注意點:
在xpath中，第一個元素的位置是1，最后一個元素的位置是last(),倒數第二個是last()-1

6.3 選取未知節點

XPath 通配符可用來選取未知的 XML 元素。

通配符	描述
*	匹配任何元素節點。
@*	匹配任何屬性節點。
node()	匹配任何類型的節點。

實例

在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結果：

路徑表達式	結果
/bookstore/*	選取 bookstore 元素的所有子元素。
//*	選取文檔中的所有元素。
//title[@*]	選取所有帶有屬性的 title 元素。

6.3 選取若干路徑

通過在路徑表達式中使用“|”運算符，您可以選取若干個路徑。

實例

在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結果：

路徑表達式	結果
//book/title \| //book/price	選取 book 元素的所有 title 和 price 元素。
//title \| //price	選取文檔中的所有 title 和 price 元素。
/bookstore/book/title \| //price	選取屬于 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素。

小結

xpath的概述XPath (XML Path Language),解析查找提取信息的語言
xml是和服務器交互的數據格式和json的作用一致
html是瀏覽器解析標簽數據顯示給用戶
xpath的節點關系:根節點,子節點,父節點,兄弟節點,子節點,后代節點
xpath的重點語法獲取任意節點://
xpath的重點語法根據屬性獲取節點:標簽[@屬性 = '值']
xpath的獲取節點屬性值:@屬性值
xpath的獲取節點文本值:text()

好書推薦

《AI繪畫與攝影實戰108招：ChatGPT+Midjourney+文心一格》
在這里插入圖片描述
《AI繪畫與攝影實戰108招：ChatGPT Midjourney 文心一格》通過10個專題內容、108個實用技巧、120多分鐘教學視頻，講解了AI繪畫與攝影的相關知識，隨書附贈了108集同步教學視頻、50多個素材效果、260多個書中案例關鍵詞、5200個繪畫關鍵詞等。具體內容按以下兩條線展開。
一是技能線：詳細講解了ChatGPT關鍵詞的挖掘方法、文心一格的繪畫技巧、常見的AI構圖與光線色調指令、Midjourney常用的繪圖指令，以及AI繪圖的4種方法。
二是案例線：介紹了人物攝影、動物攝影、植物攝影、建筑攝影、慢門攝影、星空攝影、航拍攝影、全景攝影、風光攝影、人文攝影、產品攝影、時尚攝影等多種熱門攝影的知識。
本書由淺入深，以實戰為核心，既適合攝影師、繪畫愛好者、設計師、插畫師、漫畫家、電商商家、藝術工作者等閱讀，又可作為相關院校的教材。

購買鏈接：https://product.dangdang.com/29723004.html

編輯推薦

高效繪圖！ 10章核心內容，ChatGPT結合Midjourney與文心一格，實現AI全方位作品生成！
實戰案例！ 50多個素材效果＋108招干貨技巧＋260多個指令關鍵詞 5200款繪畫關鍵詞，實操實練，秒變AI繪畫高手！
視頻教學！贈送108集教學視頻，掃描二維碼可隨時隨地全程查看操作過程，讓學習更輕松！

內容簡介

《AI繪畫與攝影實戰108招：ChatGPT Midjourney 文心一格》通過10個專題內容、108個實用技巧、120多分鐘教學視頻，講解了AI繪畫與攝影的相關知識，隨書附贈了108集同步教學視頻、50多個素材效果、260多個書中案例關鍵詞、5200個繪畫關鍵詞等。具體內容按以下兩條線展開。
一是技能線：詳細講解了ChatGPT關鍵詞的挖掘方法、文心一格的繪畫技巧、常見的AI構圖與光線色調指令、Midjourney常用的繪圖指令，以及AI繪圖的4種方法。
二是案例線：介紹了人物攝影、動物攝影、植物攝影、建筑攝影、慢門攝影、星空攝影、航拍攝影、全景攝影、風光攝影、人文攝影、產品攝影、時尚攝影等多種熱門攝影的知識。
本書由淺入深，以實戰為核心，既適合攝影師、繪畫愛好者、設計師、插畫師、漫畫家、電商商家、藝術工作者等閱讀，又可作為相關院校的教材。

作者簡介

石頭，零點畫室創始人，資深攝影師，省級攝影家協會會員，畢業于湖南工藝美術學院，參與過《藍貓總動員》的創作，2022年遠赴日本、美國學習AI繪畫技術，對Midjourney、Stable Diffusion有著豐富的實戰經驗，尤喜動漫風、中國風效果的繪制。

目　　錄

目錄
第1章.文案生成：ChatGPT攝影應用……………………………001
1.1 掌握關鍵詞的挖掘技巧……002
001 使用ChatGPT進行對話 …002
002 使用特定關鍵詞提升邏輯性 …003
003 使用關鍵詞拓寬思維廣度 …004
004 提供詳細要求獲取答案 …006
005 提供實例說明需求 …007
006 通過扮演角色獲取答案 …008
1.2 生成AI繪畫關鍵詞……010
007 直接提問獲取關鍵詞 …011
008 通過對話不斷獲取關鍵詞 …013
009 區分中、英文關鍵詞 …016
1.3 生成AI攝影關鍵詞……019

前　　言

在數字化時代，AI技術的發展對經濟產生了巨大影響。它改變了生產、制造和服務行業，提高了生產效率，降低了成本，創造了新的商業模式。隨著ChatGPT、Midjourney和文心一格等AI工具的出現和發展，AI繪畫技術逐漸開始創作出各種新穎、獨特的藝術作品，為藝術家提供了新的創作工具和靈感，幫助藝術家突破傳統的創作限制。然而，目前市場上關于AI繪圖工具的資料和書籍還相對稀缺。
秉持著響應國家科技興邦、實干興邦的精神，我們致力于為讀者提供一種全新的學習方式，使其能夠更好地適應時代發展的需要。本書結合ChatGPT與Midjourney、文心一格等多種AI繪圖工具，為讀者提供了108個實用技巧，從關鍵詞提取到圖片的制作生成，從講解基礎繪圖參數到運用參數進行實戰，幫助讀者全方位熟悉AI繪圖工具，使讀者能夠在日常生活中充分利用AI技術，體驗人工智能在繪畫和攝影中的潛力和價值。
綜合來看，本書有以下3個亮點。
（1）實戰干貨。本書提供了108個實用的技巧和實例，涵蓋了ChatGPT的關鍵詞提取、文心一格的操作方法、全面大量的AI繪圖指令和AI繪圖操作步驟等各個方面的內容。這些實戰干貨可以幫助讀者快速掌握AI繪畫和AI攝影的核心技能，并將其應用到實際工作場景中。同時，本書還針對每個技巧進行了詳細的說明和演示，并輔以360多張彩插圖解實例操作過程，以便讀者更好地理解和應用所學知識。
（2）視頻教學。本書為所有操作案例錄制了同步的高清教學視頻，共108集，120多分鐘，讀者可以用手機掃碼，邊看邊學，邊學邊用。
（3）物超所值。本書介紹了3款軟件，讀者花1本書的錢，可以同時學習3款軟件的精華，并且隨書贈送了50多個素材效果、260多個書中案例關鍵詞、5200個繪畫關鍵詞，方便讀者進行實戰操作練習，提高自己的繪圖技能。
特別提示：
（1）版本更新：本書在編寫時，是基于當時各種AI工具和軟件的界面截取的實際操作圖片，但本書從編輯到出版需要一段時間，這些工具的功能和界面可能會有所變動，請在閱讀時，根據書中的思路舉一反三進行學習。其中，ChatGPT為3.5版，Midjourney為5.2版。
（2）指令的稱謂：指令又稱為關鍵詞、描述詞、提示詞或“咒語”，它是我們與AI模型進行交流的機器語言，書中在不同場合使用了不同的稱謂，主要是為了讓大家更好地理解這些行業用語，避免一葉障目。另外，很多關鍵詞暫時沒有對應的中文翻譯，強行翻譯為中文也會讓人無法理解AI模型。
（3）指令的使用：在Midjourney中，盡量使用英文指令，對于英文單詞的格式沒有太多要求，如首字母大小寫不用統一、單詞順序不用太講究等。但需要注意的是，每個指令中間最好添加空格或逗號，同時所有的標點符號使用英文字體。另外，需要特別注意的是，即使是相同的指令，AI模型每次生成的文案或圖片內容也會有差別。
（4）特別提醒：盡管ChatGPT具備強大的模擬人類對話的能力，但由于其是基于機器學習的模型，因此在生成的文案中仍然會存在一些語法錯誤，讀者需根據自身需求對文案進行適當修改或再加工后方可使用。
本書由石頭編著，參與編寫的人員還有劉陽洋，在此表示感謝。由于作者水平有限，書中難免存在疏漏之處，懇請廣大讀者批評、指正。讀者可掃描封底“文泉云盤”二維碼獲取作者聯系方式，與我們溝通交流。
在這里插入圖片描述