数据解析之Xpath解析（超详细定位）

2023-09-21 16:36:56

目录

​编辑

前言

一.Xpath介绍

1.基本介绍

2.HTML树状结构图

2.节点之间的关系

Xpath中的绝对路径与相对路径

绝对路径

相对路径

二.Xpath的语法介绍

基本定位语法

1.元素属性定位

2.层级属性结合定位

3.使用谓语定位

4.使用逻辑运算符定位

5.使用文本定位

6.使用部分函数定位

三.Xpath语法验证

在开发者工具的 Elements 中按Ctrl + F，在搜索框中输入 Xpath

四.lxml的基本使用

 五.Xpath实战（含流程）

 

前言

xpath是XML路径语言，它可以用来确定xml文档中的元素位置，通过元素路径来完成对元素的查找。HTML就是XML的一种实现方式，所以xpath是一种非常强大的定位方式
 

一.Xpath介绍

1.基本介绍

XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航

xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个第三方模块，它包含了将html文本转成xml对象，和对对象执行xpath的功能

2.HTML树状结构图

HTML 的结构就是树形结构，HTML 是根节点，所有的其他元素节点都是从根节点发出的。其他的元素都是这棵树上的节点Node，每个节点还可能有属性和文本。而路径就是指某个节点到另一个节点的路线。

2.节点之间的关系

  • 父节点(Parent)： HTML 是 body 和 head 节点的父节点；

  • 子节点(Child)：head 和 body 是 HTML 的子节点；

  • 兄弟节点(Sibling)：拥有相同的父节点，head 和 body 就是兄弟节点。title 和 div 不是兄弟，因为他们不是同一个父节点。

  • 祖先节点(Ancestor)：body 是 form 的祖先节点，爷爷辈及以上👴；

  • 后代节点(Descendant)：form 是 HTML 的后代节点，孙子辈及以下👶。

 

Xpath中的绝对路径与相对路径

Xpath 中的绝对路径从 HTML 根节点开始算，相对路径从任意节点开始。通过开发者工具，我们可以拷贝到 Xpath 的绝对路径和相对路径代码：

但是由于拷贝出来的代码缺乏灵活性，也不全然准确。大部分情况下，都需要自己定义 Xpath 语句，因此 Xpath 语法还是有必要学习。

绝对路径

Xpath 中最直观的定位策略就是绝对路径。 以百度中的输入框和按钮为例，通过拷贝出来的 full Xpath：

/html/body/div[2]/div/div/div/div/form/span/input

这就是一个绝对路径我们可以看出，绝对路径是从根节点/html开始往下，一层层的表示 出来直到需要的节点为止。这明显不是理智的选项，因此了解以下即可，不用往心里去。 <a name="Rr3Eo"></a>

相对路径

除了绝对路径，Xpath 中更常用的方式是相对路径定位方法，以“//”开头。 相对路径可以从任意节点开始，一般我们会选取一个可以唯一定位到的元素开始写，可以 增加查找的准确性。

二.Xpath的语法介绍

基本定位语法
表达式说明举例
/从根节点开始选取/html/div/span
//从任意节点开始选取//input
.选取当前节点
..选取当前节点的父节点//input/.. 会选取 input 的父节点
@选取属性或者根据属性选取//input[@data] 选取具备 data 属性的 input 元素 //@data 选取所有 data 属性
*通配符，表示任意节点或任意属性

1.元素属性定位

1.1 根据属性名定位元素：

        定位具有特定属性名的元素：//*[@attribute_name]

        示例：//*[@class] 会匹配所有具有 "class" 属性的元素。

1.2 根据属性名和属性值定位元素：

        定位具有特定属性名和属性值的元素：//*[@attribute_name='value']

        示例：//*[@id='myElement'] 会匹配 id 属性值为 "myElement" 的元素。

1.3 根据部分属性值定位元素：

        定位具有属性值包含特定文本的元素：//*[contains(@attribute_name,'value')]

        示例：//*[contains(@class,'active')] 会匹配 class 属性值包含 "active" 的元素。

1.4 根据多个属性进行定位：

        定位具有多个属性及其对应值的元素：//*[@attribute_name_1='value_1' and   @attribute_name_2='value_2']

        示例：//*[@class='active' and @data-type='button'] 会匹配同时具有 class 属性值为         "active" 和 data-type 属性值为 "button" 的元素

2.层级属性结合定位

2.1定位父元素下的子元素：

   //父元素名/子元素名：通过指定父元素和子元素的标签名来定位元素。

2.2 定位特定属性的父元素下的子元素：

  //父元素名[@属性名='属性值']/子元素名：通过指定父元素的属性和属性值，再结合子元素的标签名来定位元素。

示例：//div[@class='container']/p 会匹配 class 属性为 "container" 的 <div> 元素下的所有 <p> 元素。

2.3定位特定属性的父元素下的特定属性的子元素：

   //父元素名[@属性名1='属性值1']/子元素名[@属性名2='属性值2']：通过指定父元素和子元素的属性条件来定位元素。

示例：//ul[@id='menu']/li[@class='active'] 会匹配 id 属性为 "menu" 的 <ul> 元素下，class 属性为 "active" 的所有 <li> 元素。

3.使用谓语定位

3.1定位符合特定索引的元素：

//tagname[position()]：通过位置索引来定位元素。索引从 1 开始。

示例：//ul/li[position() = 3] 可以匹配位于 <ul> 下的第三个 <li> 元素。

3.1定位满足特定属性条件的元素：

//tagname[@attribute='value']：通过属性条件来定位元素。

示例：//input[@type='text'] 可以匹配所有 type 属性值为 "text" 的 <input> 元素。

3.3结合多个条件定位元素：

//tagname[@attribute1='value1' and @attribute2='value2']：使用逻辑运算符 and 结合多个属性条件来定位元素。

示例：//a[@class='active' and @href='/home'] 可以匹配同时满足 class 属性值为 "active" 和 href 属性值为 "/home" 的 <a> 元素。

3.4通过文本内容定位元素：

//tagname[text()='value']：通过文本内容来定位元素。

示例：//h1[text()='Welcome'] 可以匹配文本内容为 "Welcome" 的 <h1> 元素。

4.使用逻辑运算符定位

使用逻辑运算符定位是XPath中一种灵活的定位技术，允许您结合多个条件来定位元素。XPath支持以下三种逻辑运算符：and、or、not。以下是使用逻辑运算符定位元素的示例：

4.1 使用 and 运算符：

//tagname[@attribute1='value1' and @attribute2='value2']：通过结合多个属性条件，使用 and 运算符定位元素。

示例：//input[@type='text' and @name='username'] 可以匹配type属性为"text"且name属性为"username"的input元素。

4.2 使用 or 运算符：

//tagname[@attribute='value1' or @attribute='value2']：通过结合多个属性条件，使用 or 运算符定位元素。

示例：//a[@class='active' or @class='highlight'] 可以匹配class属性为"active"或"class"属性为"highlight"的a元素。

4.3 使用 not 运算符：

//tagname[not(@attribute='value')]：使用 not 运算符否定一个属性条件，定位不满足该条件的元素。

示例：//div[not(@class='header')] 可以匹配class属性不为"header"的div元素

5.使用文本定位

5.1定位文本内容相等的元素：

//tagname[text()='value']：匹配文本内容与指定值相等的元素。

示例：//a[text()='Login'] 可以匹配文本为"Login"的所有 <a> 元素。

5.2定位包含指定文本内容的元素：

//tagname[contains(text(),'value')]：匹配包含指定值的文本内容的元素。

示例：//p[contains(text(),'Lorem ipsum')] 可以匹配包含"Lorem ipsum"文本的所有 <p> 元素。

5.3根据包含特定关键词的文本内容定位元素：

//tagname[contains(text(),'keyword')]：匹配文本内容中包含特定关键词的元素。

示例：//h2[contains(text(),'Contact')] 可以匹配文本内容中包含"Contact"关键词的 <h2> 元素

6.使用部分函数定位

函数说明举例
contains选取属性或者文本包含某些字符//div[contains(@id, 'data')] 选取 id 属性包含 data 的 div 元素
starts-with选取属性或者文本以某些字符开头//div[starts-with(@id, 'data')] 选取 id 属性以 data 开头的 div 元素

| | ends-with | 选取属性或者文本以某些字符结尾 | //div[ends-with(@id, 'require')] 选取 id 属性以 require 结尾的 div 元素

三.Xpath语法验证

在开发者工具的 Elements 中按Ctrl + F，在搜索框中输入 Xpath

四.lxml的基本使用

# 导入模块
from lxml import etree
# html源代码
web_data = """
        <div>
            <ul>
                 <li class="item-0"><a href="link1.html">first item</a></li>
                 <li class="item-1"><a href="link2.html">second item</a></li>
                 <li class="item-inactive"><a href="link3.html">third item</a></li>
                 <li class="item-1"><a href="link4.html">fourth item</a></li>
                 <li class="item-0"><a href="link5.html">fifth item</a>
             </ul>
         </div>
        """
# 将html转成xml文件
element = etree.HTML(web_data)
# print(element)
# 获取li标签下面的a标签的href
links = element.xpath('//ul/li/a/@href')
print(links)
# 获取li标签下面的a标签的文本数据
result = element.xpath('//ul/li/a/text()')
print(result)

 五.Xpath实战（含流程）

import requests
from lxml import etree
'''
目标:熟悉xpath解析数的方式
需求:爬取电影的名称 评分 引言 详情页的url  翻页爬取1-10页 保存到列表中

如何实现?
设计技术与需要的库 requests lxml(etree)

实现步骤
1 页面分析(一般讲数据解析模块 都是静态页面)
   1.1 通过观察看网页源代码中是否有我们想要的数据 如果有就分析这个url
        如果没有再通过ajax寻找接口   通过分析数据在网页源代码中

   1.2 确定目标url
        https://movie.douban.com/top250?start=0&filter= 第一页
        通过页面分析发现所有我们想要的数据都在一个div[class="info"]里面

具体实现步骤
1 获取整个网页的源码 html
2 将获取的数据源码转成一个element对象(xml)
3 通过element对象实现xpath语法 对数据进行爬取(标题 评分 引言 详情页的url)
4 保存数据  先保存到字典中-->列表中

'''

# 定义一个函数用来获取网页源代码
def getsource(pagelink):
    # 请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }
    # 获取源码
    response = requests.get(pagelink, headers=headers)
    response.encoding = 'utf-8'
    html = response.text
    return html

# 定义一个函数用于解析我们的网页源代码并获取我们想要的数据
def geteveryitem(html):
    element = etree.HTML(html)
    # 拿到[class="info"]的所有div
    movieitemlist = element.xpath('//li//div[@class="info"]')
    # print(movieitemlist,len(movieitemlist))
    # 定义一个列表
    itemlist = []
    for item in movieitemlist:
        # 定义一个字典
        itemdict = {}
        # 标题
        title = item.xpath('./div[@class="hd"]/a/span[@class="title"]/text()')
        title = "".join(title).replace("\xa0", "")
        # print(title)
        # 副标题
        othertitle = item.xpath('./div[@class="hd"]/a/span[@class="other"]/text()')[0].replace("\xa0", "")
        # print(othertitle)
        # 评分
        grade = item.xpath('./div[@class="bd"]/div[@class="star"]/span[2]/text()')[0]
        # print(grade)
        # 详情页的url
        link = item.xpath('div[@class="hd"]/a/@href')[0]
        # print(link)
        # 引言
        quote = item.xpath('div[@class="bd"]/p[@class="quote"]/span/text()')
        # print(quote)
        # list index out of range
        # 处理方式1 非空处理
        if quote:
            quote = quote[0]
        else:
            quote = ""
        # 将数据存放到字典中
        itemdict['title'] = ''.join(title + othertitle)
        itemdict['grade'] = grade
        itemdict['link'] = link
        itemdict['quote'] = quote
        # print(itemdict)
        itemlist.append(itemdict)
    # print(itemlist)
    return itemlist


if __name__ == '__main__':
    url = 'https://movie.douban.com/top250?start=0&filter='
    html = getsource(url)
    itemlist = geteveryitem(html)

    print(itemlist)

今天的分享到这里就结束了，感谢各位大大的观看，各位大大的三连是博主更新的动力，感谢谢谢谢谢谢谢谢谢各位的支持！！！！！ 

更多推荐

前端代码规范

HTML编码规约(WC-HTML)-HTML编码规约前言本规约涉及HTML语言的编码风格、最佳实践。参与和反馈对规约有任何意见和建议，欢迎留言讨论：）1【推荐】使用2个空格缩进。统一使用2个空格缩进，不要使用4个空格或tab缩进：<!DOCTYPEhtml><html><head><title>Pagetitle</t

Rust中的结构体

专栏简介：本专栏作为Rust语言的入门级的文章，目的是为了分享关于Rust语言的编程技巧和知识。对于Rust语言，虽然历史没有C++、和python历史悠远，但是它的优点可以说是非常的多，既继承了C++运行速度，还拥有了Java的内存管理，就我个人来说，还有一个优点就是集成化的编译工具cargo，语句风格和C++极其相

rom修改----安卓系列机型如何内置app 如何选择so文件内置

系统内置app的需求在与各工作室对接中操作单中，很多需要内置客户特定的有些app到系统里，这样方便客户刷入固件后直接调用。例如内置apk去开机引导去usb调试默认开启usb安全设置等等。那么很多app内置有不同的反应。有的可以直接内置。有的需要加so才能解决我们先来看一张图片1---直接内置方法将需要的app直接放置系

应急响应LINUX&Windows

应急响应LINUX&Windowslinux文件名说明/etc/passwd用户信息文件/etc/crontab定时任务文件/etc/anacrontab异步定时任务文件/etc/rc.d/rc.local开机启动项/var/log/btmp登录失败日志，使用last命令查看/var/log/cron定时任务执行日志/

内存管理之虚拟内存

本篇遵循内存管理->地址空间->虚拟内存的顺序描述了内存管理、地址空间与虚拟内存见的递进关系，较为详细的介绍了作为在校大学生对于虚拟内存的理解。内存管理引入RAM（内存）是计算机中非常重要的资源，由于造价的昂贵，我们家用的计算机一般是8/16G。对于如此紧俏的资源我们当然需要对它好好管理，尽力做到不浪费，高效压榨它的每

助力工业物联网，工业大数据之服务域：Shell调度测试【三十三】

文章目录知识点07：Shell调度测试知识点08：依赖调度测试知识点09：Python调度测试知识点10：Oracle与MySQL调度方法知识点11：大数据组件调度方法知识点07：Shell调度测试目标：实现Shell命令的调度测试实施需求：使用BashOperator调度执行一条Linux命令代码创建#默认的Airf

TorchLens--可视化任何PyTorch模型

0.简介PyTorch是一个深度学习框架，它使用张量（tensor）作为核心数据结构。在可视化PyTorch模型时，了解每个张量运算的意义非常重要。张量运算作为神经网络模型中的基本操作。它们用于处理输入数据、执行权重更新和生成预测结果。同时张量运算还用于计算损失函数。损失函数衡量了模型预测与真实标签之间的差异。通过使用

docker network

一、默认的三种网络模式：Bridge模式：这是Docker默认创建的网络模式。在Bridge模式下，Docker会为每个容器创建一个虚拟网络接口，并分配独立的IP地址。容器之间可以相互通信，而且可以通过端口映射让容器内部的服务可以通过主机的IP地址和端口进行访问。Host模式：在Host模式下，容器与主机共享同一个网络

代码随想录算法训练营第46天| 单词拆分，背包问题总结

139.单词拆分给你一个字符串s和一个字符串列表wordDict作为字典。请你判断是否可以利用字典中出现的单词拼接出s。注意：不要求字典中出现的单词全部都使用，并且字典中的单词可以重复使用。示例1：输入:s=“leetcode”,wordDict=[“leet”,“code”]输出:true解释:返回true因为“le

内网隧道代理技术（二十七）之 DNS隧道介绍

DNS隧道介绍DNS协议介绍域名系统（DomainNameSystem，缩写：DNS）是互联网的一项服务。它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。DNS使用TCP和UDP端口53。当前，对于每一级域名长度的限制是63个字符，域名总长度则不能超过253个字符。DNS协议是用来将域名转

Linux磁盘挂载及扩容操作

Linux磁盘扩容操作全介绍1.新增磁盘分区后挂载至新建/data目录下1.1新增磁盘打开Vmware右键需要添加磁盘的虚拟机，点击设置，选择磁盘添加即可，这里我新增了一块20G的磁盘在当前虚拟机下；fdisk-l#列出指定的外围设备的分区表状况#列出所有可用块设备的信息，而且还能显示他们之间的依赖关系#可以看到新增磁

热文推荐
  1. 用一个RecyclerView实现二级评论

    先上个效果图（没有UI，将就看吧），写代码的整个过程花了4个小时左右，相比当初自己开发需求已经快了很多了哈。给产品估个两天时间，摸一天半的鱼不过分吧（手动斜眼）需求拆分这种大家常用的评论功能其实也就没啥好拆分的了，简单列一下：默认展示一级评论和二级评论中的热评，可以上拉加载更多。二级评论超过两条时，可以点击展开加载更多

  2. golang：context

    context作用goroutine的退出机制多个goroutine都是平行的被调度的，多个goroutine如何协调工作涉及通信、同步、通知和退出通信：goroutine之间的通信同步chan通道同步：不带缓冲的chan提供了一个天然的同步等待机制。通过WaitGroup也可以为多个goroutine提供同步等待机制

  3. 数据库索引

    一.索引的引用索引类似于一本书的目录，可以根据页码更快的查找到内容。索引可以加快访问数据库的速度二.索引的分类1.按表的列属性分类（1）.普通索引：最基本的索引，没有任何限制；（2）.唯一索引：索引列的值必须唯一，允许有空值。如果是组合索引，则列值的组合必须唯一；（3）.主键索引：是一种特殊的唯一索引，一个表只能有一个

  4. Golang代码漏洞扫描工具介绍——govulncheck

    GolangGolang作为一款近年来最火热的服务端语言之一，深受广大程序员的喜爱，笔者最近也在用，特别是高并发的场景下，golang易用性的优势十分明显，但笔者这次想要介绍的并不是golang本身，而且golang代码的漏洞扫描工具，毕竟作为服务端的程序，安全性一直是一个不同忽视的地方Go安全团队在2022.09.0

  5. 基于Qt实现的可视化大屏监控

    基于Qt实现的可视化大屏监控先上图基于Qt实现的可视化大屏监控总有人质疑QWidget实现不了炫酷的界面，其实QWidget已经很强大了，虽然很多效果没有现成的框架，所以比不上html5或者安卓这种，但是也能实现很多不错的效果了，而且在嵌入式设备上一样能达到这种效果，这是其他很多框架所不能实现的。本次大屏监控主要使用以

  6. 安达发APS|生产计划部门如何提升产量？

    在当下制造业中，生产计划的制定和执行对于提高产量、降低成本、保证交货期等方面具有重要意义。随着科技的发展，越来越多的企业开始使用APS生产排程软件来优化生产计划，提高生产效率。本文将从以下几个方面介绍如何利用APS生产排程软件提升产量。1.需求预测与订单管理首先，企业需要对市场需求进行准确预测，以便合理安排生产计划。A

  7. 三、数学建模之非线性规划

    1、定义2、例题matlan代码求解一、定义1.非线性规划（NonlinearProgramming，简称NLP）是一种数学优化问题的方法，它处理的目标函数或约束条件包含非线性项。与线性规划不同，非线性规划涉及到在非线性约束下寻找最优解。在许多领域都有广泛的应用，包括工程、经济学、物流、金融等。它可以用来解决各种实际问

  8. Vue-01:MVVM数据双向绑定与Vue的生命周期

    一、Vue介绍1.1什么是Vue？Vue是一个渐进式的JavaScript框架，用于构建用户界面。"渐进式"意味着Vue的设计理念是逐步增强应用的功能和复杂性，而不是一次性地引入所有功能。这使得开发者可以根据项目需求选择性地使用Vue的不同特性和功能。1.2Vue的优点Vue具有许多实际应用的优点，以下是其中一些：易学

  9. 全面了解SpringBoot拦截器

    在本文中，我们将详细介绍SpringBoot中的拦截器，包括拦截器的概念、作用、实现方式、执行顺序、生命周期以及高级应用。最后，我们还将探讨拦截器的性能优化策略和常见问题。1.拦截器的概念和作用1.1什么是拦截器拦截器（Interceptor）是一种特殊的组件，它可以在请求处理的过程中对请求和响应进行拦截和处理。拦截器