Python爬蟲指南之XPath實例解析

專注于為中小企業(yè)提供成都做網(wǎng)站、網(wǎng)站設計服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)恩施土家免費做網(wǎng)站提供優(yōu)質的服務。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了成百上千企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設實現(xiàn)規(guī)模擴充和轉變。

什么是XPath?

XPath(XML Path Language)是一種在XML文檔中查找信息的語言，它可以用來在XML文檔中對元素和屬性進行遍歷，XPath 是一種非常強大的工具，可以用于在 XML 文檔中查找信息，包括但不限于：選取節(jié)點、選取屬性、選取符合條件的節(jié)點等。

XPath的基本語法

XPath 的基本語法包括以下幾部分：

1、節(jié)點選擇：通過節(jié)點名稱來選取節(jié)點。

2、謂語：用于描述節(jié)點之間的關系，如“/”、“//”、“.”、“..”等。

3、謂語參數(shù)：表示節(jié)點的屬性或文本內容。

4、軸：用于指定節(jié)點的路徑關系，如“ancestor”、“child”、“descendant”、“following”、“preceding”等。

5、謂語運算符：用于對節(jié)點進行篩選，如“[position()]”、“[last()]”、“[1]”等。

XPath的實際應用

下面我們通過一個實際的例子來演示如何使用 XPath 進行網(wǎng)頁抓取，假設我們有如下的 HTML 代碼：

  
    
  
  
    

      
歡迎來到示例網(wǎng)頁
      

        
示例網(wǎng)站1
        
示例網(wǎng)站2
        
示例網(wǎng)站3
      
    
  

我們想要獲取所有的鏈接，可以使用如下的 XPath 表達式：

//a/@href

這個表達式的意思是：選取所有 標簽下的 href 屬性，運行上述代碼，我們可以得到如下的結果：

['https://www.example1.com', 'https://www.example2.com', 'https://www.example3.com']

from lxml import etree
html = '''
這是一個段落。
'''
root = etree.fromstring(html)
if root.find('p') is not None:
    print("段落存在")
else:
    print("段落不存在")

from lxml import etree
html = '''
這是一個段落。
這是一個跨度。
'''
root = etree.fromstring(html)
children = root.find('parent').findall('*')
for child in children:
    print(etree.tostring(child, encoding='utf-8').decode('utf-8'))

from lxml import etree
html = '''
這是一個段落。
這是一個跨度。
'''
root = etree.fromstring(html)
element = root.find('parent/p')
for ancestor in element.iterancestors():
    print(etree.tostring(ancestor, encoding='utf-8').decode('utf-8'))