python爬虫简单实例

内容摘要
这篇文章主要为大家详细介绍了python爬虫简单实例,具有一定的参考价值,可以用来参考一下。

感兴趣python爬虫简单实例的小伙伴,下面一起跟随php教程的小编罗X来看看吧。<br>
文章正文

这篇文章主要为大家详细介绍了python爬虫简单实例,具有一定的参考价值,可以用来参考一下。

感兴趣python爬虫简单实例的小伙伴,下面一起跟随php教程的小编罗X来看看吧。<br>
import requests
from lxml import html
url='https://music.douban.com/' #需要爬的网址
page=requests.Session().get(url) 
tree=html.fromstring(page.text) 
result=tree.xpath('//tr//a/text()') #需要获取的数据
result1=tree.xpath('//tr//a/@href')
result2=tree.xpath('//tr[last()]//a/@href')
print(result)
print(result1)
print(result2)
我们爬取一下豆瓣音乐专区,其中url便是我们要爬取的网址,而tree.xpath()中的内容便是该网址中我们要获取的数据,显而易见,该程序爬取了三部分内容,//tr//a/text()便是需要抓取内容的路径,意思是所有标签下的tr标签的所有a标签的文本内容,是不是有点绕口,其实这就是一个相对路径,注意一个‘/’和两个‘/’的区别,可以分别理解成绝对路径和“所有”~~

注:关于python爬虫简单实例的内容就先介绍到这里,更多相关文章的可以留意

代码注释

作者:喵哥笔记

IDC笔记

学的不仅是技术,更是梦想!