news 2026/7/9 8:29:59

python使用xpath Python用Xpath抓数据?三步搞定,比BeautifulSoup还爽

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
python使用xpath Python用Xpath抓数据?三步搞定,比BeautifulSoup还爽

使用时先安装 lxml 包

开始使用#

和类似,首先我们需要得到一个文档树

把文本转换成一个文档树对象

from lxml == '':doc='''

把文件转换成一个文档树对象

索引阅读外部当中的文件, 等于使用etree.parse('./index.html')等于进行etree相关操作,括号内是html且等于True, 等于True的情况是会进行格式化之后输出, 最后进行打印。

均会打印出文档内容

节点、元素、属性、内容#

xpath的理念是借由路径加以表述, 借此来寻觅节点, 节点内含元素, 属性以及内容。

元素举例

html --->...div --->

a --->...

这里, 我们能够看到, 这里面的元素, 跟html里的标签, 是同一个意思。单独存在的元素, 没办法表达出一个路径, 所以, 单独的元素, 不能够独立去使用。

路径表达式#

根节点, 分隔节点的符号, 任意一处的位置. 当前所在的节点, 父级别的节点, 属性@。

通配符#

对于任意一个元素, 存在任意一种属性, 该属性为节点类型, 且具有任意的子节点, 这些子节点能够是元素, 或者是属性, 亦或者是内容。

谓语#

使用中括号来限定元素,称为谓语

以下代表子元素, 其排在第n个位置, n是大于零的整数, book price值大于2的元素。

多个路径#

用| 连接两个表达式,可以进行 或匹配

//book/title | //book/price

函数#

xpath内置很多函数。更多函数查看

(,)

-with(,)

ends-with(,) #不支持

upper-case() #不支持

text()

last()

()

node()

Last()这个函数能被看到, 它是存在的, 在之前讲述谓语的时候, 我们就已经提及过它了。

案例#

定位元素#

匹配多个元素,返回列表

=='':doc='''

首先, 将doc通过etree.HTML转化为html , 接着, 打印输出html通过xpath("//li")所获取到的内容 , 然后, 再打印输出html通过xpath("//p")所获取到的内容。

【结果为】

#没找到p元素

@class='item-'

")))print(html.xpath("//li

@class='item-'

@class='item-'

@class='item-'

你的内容似乎不完整且不符合正常句子要求, 请提供完整且有意义的句子以便我进行改写。

@class='item-'

/.."))print(html.xpath("//li

@class='item-'

/../li

@class='item-0'

"))

【结果为】

第三个项目, 其下方没有直接文本内容, 该项目当前显示为“无” , 因为第三个列表项下面没有直接文本。

'third item'

使用函数#

#

有时候, 当把class用作选择条件之际不太合适, @class='....'这属于完全匹配, 一旦王爷样式有所改变, class可能会增添或者减少类似的class, 如此使用就会极为便利便利。

from lxml == '':doc='''

你提供的内容不完整, 请补充完整后以便我进行改写。 仅有“html = etree.HTML(doc)print(html.xpath("//*”这些内容无法完成准确改写。

(@class,'item')

"))

【结果为】

-with#

from lxml == '':doc='''

first item# 注意,此处缺少一个闭合标签

'''html = etree.HTML(doc)print(html.xpath("//*

(@class,'item')

"))print(html.xpath("//*

-with(@class,'ul')

"))

【结果为】

ends-with#

print(html.xpath("//*

ends-with(@class,'ul')

"))

【结果为】

这似乎并不是一个完整且合理的句子呀, 你提供的内容有些混乱, 不太能按照要求完整准确地进行改写。请补充完整清晰的内容以便能更好地处理。

ends-with(@class,'ul')

看来的lxml并不支持有的xpath函数列表

upper-case#

如同ends - with函数那般,它也是不予以支持的。同样会出现报错lxml.etree。

print(html.xpath("//a

(upper-case(@class),'ITEM-')

"))

text、last#

#最后面的那个li遭受到了限定, 输入print(html.xpath("//li/a/text()"))的话, #就会获取到每一单个个的``元素的内容, 毕竟每一个标签均是各自父元素的最后那般子一个元素。#原本来说每单一一个li仅仅只有一个子元素, 因而全部都是最后那一个, print(html.xpath("//li/a/text()")), print(html.xpath("//li/a。

(text(),'third')

"))

【结果为】

'fifth item'

“物品”, “第三个物品”, “物品”, “第五个物品”。

#

print(html.xpath("//li

()=2

/a/text()"))#结果为

'third item'

上面这个例子我们之前以及讲解过了

*这里有个疑问,就是()函数能不能像text()那样用呢

print(html.xpath("//li/a/()")), #对应的结果是, lxml.etree。

这里, 我们获取到了一个结论, 函数可不是随随便便放置于任何地方, 均可获取到自身期望的结果的。

node#

不论子节点属于何种类型(熟悉, 元素, 内容), 都要返回所有子节点。

print(html.xpath("//ul/li

@class='item-'

【结果为】

获取内容#

就在刚才, 已经对其进行过提及, 能够采用.text以及text()这样的形式, 去获取元素所包含的内容。

from lxml == '':doc='''

first item# 注意,此处缺少一个闭合标签

通过etree.XML将文档转变为html, 打印html通过xpath查找“//a/text()”的结果, 打印html通过xpath查找“//a”节点的text属性值, 打印html通过xpath查找“//ul”节点的text属性值, 打印html通过xpath查找“//ul”节点的text属性值的长度, 打印html通过xpath查找“//ul/text()”的结果。

【结果为】

排成这样: '第一项', '项', '第三项', '项', '第五项'。

first

存在着这样一些内容, 这些内容是空白, 这些空白呈现出多个换行的形式, 这些换行的空白有着多个连续的状态, 这些连续状态的空白之后出现了闭合标签, 闭合标签之前同样存在着多个换行的空白。

在此看出, 发现了text()与.text二者之间那相异的差别之处。自行去归纳总结吧。由于不太好进行表述, 所以就选择不再去表达了。

获取属性#

打印, 通过html的xpath方法获取的双斜杠a标签下的href属性值, 打印, 通过html的xpath方法获取的双斜杠li标签下的class属性值。

【结果为】

'link1.html ','link2.html ', 'link3.html ', 'link4.html ', 'link5.html ', 分别是这样的五个不同链接页面的标识。

'item-', 'item-1', 'item-', 'item-1', '且是', 'item-0的形式', '。'。

自定义函数#

我们于使用函数的进程里得出结论, 即存在部分函数不予以支持, 存在部分函数予以支持, 那么问题便产生了, 究竟哪些方法予以支持呢。我们于lxml官网寻觅到了答案。lxml对XPath 1.0予以支持, 若想运用其他扩展, 请运用与标准相兼容的方式。XPath 1.0官方文档以及其他版本的XPath文档。

除此之外, lxml提供了一种方式, 这种方式是用来扩展xpath支持度的, 它是自定义函数的方式。

你提供的内容似乎不太完整且不符合正常的语句逻辑, 不太能完成恰当的改写。请重新整理清晰准确的内容以便进行改写。

first item# 注意,此处缺少一个闭合标签

你提供的内容存在错误, 正确的应该不是这样表述。请你检查并提供准确的内容, 以便我能对你进行准确改写。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/9 8:29:12

上虞人气 5 家咖啡融合餐厅盘点

在快节奏的生活中,人们对于用餐环境和体验的要求越来越高。咖啡融合餐厅,这种将咖啡的香醇与美食的精致完美结合的场所,逐渐成为上虞市民喜爱的聚会、休闲之地。今天,就为大家盘点上虞人气颇高的5家咖啡融合餐厅。 一、上虞苦甜序…

作者头像 李华
网站建设 2026/7/9 8:26:29

你们项目里的线程池是怎么用的?怎么管理的?

平时写业务时好像没什么存在感,很多代码里随手就是一个: java ExecutorService executor Executors.newFixedThreadPool(10); 看起来也能跑,任务也能异步执行,线上一开始也不一定会出问题。 但如果面试官问一句:你…

作者头像 李华
网站建设 2026/7/9 8:25:28

北京华恒智信为文旅演艺行业破解演艺人才职业生命周期短发展困局

在文旅演艺行业中,舞蹈演员始终面临固化的职业困境,行业默认演员职业终点是“跳到跳不动为止”,却从未明确从业者退役后的职业发展路径。无数文旅演艺从业者耗费青春投身行业,最终大多因身体机能衰退被迫离场,陷入职业…

作者头像 李华
网站建设 2026/7/9 8:17:47

基于SpringBoot的拍卖系统

一、关键词SpringBoot拍卖系统、竞拍商品、在线出价、订单管理、后台管理二、作品包含源码数据库万字设计文档全套环境和工具资源本地部署教程三、项目技术前端技术: Html、Css、Js、Vue3.2、Element-Plus后端技术:Java、SpringBoot3.3.0、MyBatis-Plus四…

作者头像 李华
网站建设 2026/7/9 8:15:32

鸿蒙新特性:Rating 星级评分组件——构建电影影单与评分统计

评分是用户表达喜好最直观的方式。从豆瓣电影的五星评分到 App Store 的五星评价,从外卖平台的服务打分到电商平台的商品评价——星级评分几乎覆盖了所有需要"表达满意程度"的场景。它比"喜欢/不喜欢"的二元选择更精确,又比"输…

作者头像 李华
网站建设 2026/7/9 8:14:55

餐饮门店会员系统怎么选?储值、积分和优惠券玩法分析

餐饮门店会员系统怎么选?储值、积分和优惠券玩法分析餐饮门店会员系统怎么选,关键不是能不能录入会员,而是能不能让顾客下次还来。餐饮消费频次高、决策快,会员玩法如果只是登记手机号,价值很有限。真正有用的会员系统…

作者头像 李华