python爬取链家二手房信息,确认过眼神我是买不起的人
内容摘要
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
文章正文
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
python免费学习资料以及群交流解答点击即可加入
基本环境配置
- python 3.6
- pycharm
- requests
- parsel
- time
相关模块pip安装即可
确定目标网页数据
哦豁,这个价格..................看到都觉得脑阔疼
通过开发者工具,可以直接找到网页返回的数据~
每一个二手房的数据,都在网页的 li 标签
里面,咱们可以获取网页返回的数据,然后通过解析,就可以获取到自己想要的数据了~
获取网页数据
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
}
response = requests.get(url=url, headers=headers)
解析网页数据
import parsel
selector = parsel.Selector(response.text)
lis = selector.css(".sellListContent li")
dit = {}
for li in lis:
title = li.css(".title a::text").get()
dit["标题"] = title
positionInfo = li.css(".positionInfo a::text").getall()
info = "-".join(positionInfo)
dit["开发商"] = info
houseInfo = li.css(".houseInfo::text").get()
dit["房子信息"] = houseInfo
followInfo = li.css(".followInfo::text").get()
dit["发布周期"] = followInfo
Price = li.css(".totalPrice span::text").get()
dit["售价/万"] = Price
unitPrice = li.css(".unitPrice span::text").get()
dit["单价"] = unitPrice
csv_writer.writerow(dit)
print(dit)
保存数据
import csv
f = open("二手房信息.csv", mode="a", encoding="utf-8-sig", newline="")
csv_writer = csv.DictWriter(f, fieldnames=["标题", "开发商", "房子信息", "发布周期", "售价/万", "单价"])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()
数据
代码注释
[!--zhushi--]