Python爬取网页的数据容易,那怎么爬取手机APP的数据呢

内容摘要
  写在前言 小编介绍过很多在网页上面爬取数据的案例,很多人就问小编了,手机APP上面的数据可不可以爬取呢? 答案肯定是:当然可以 很多人学习python,不知道从何学起。 很多人学
文章正文

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

写在前言

小编介绍过很多在网页上面爬取数据的案例,很多人就问小编了,手机APP上面的数据可不可以爬取呢?

答案肯定是:当然可以

很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!??¤
QQ群:961562169

环境配置

1、Fidder的安装和配置

下载Fidder软件地址:https://www.telerik.com/download/fiddler

然后就是傻瓜式的安装,安装步骤很简单。在安装完成后,打开软件,进行如下设置:

默认的8888端口

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

2、手机的配置

首先打开cmd,输入ipconfig查看IP地址,记录下这个IP地址:

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

想要使用FIdder进行手机抓包,要让手机和PC处在同一个内网中,方法就是连接同一个无线网络。然后打开手机,进入Wi-FI设置修改代理为手动代理,再把上面的IP地址和8888端口号输入进去:

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

然后打开浏览器,输入http://127.0.0.1:8888,会看到如下界面,点击FidderRoot certificate下载证书:

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

下载好之后如果出现无法安装的情况,可以进入设置进行手动安装证书,我的安装步骤是“设置->系统安全->从SD卡安装”,不同的手机安装步骤不同,不过也差不多吧。

3、抓包测试

在完成上面的步骤之后,我们先进行一下抓包测试,打开手机的浏览器,然后打开百度的网页,可以看到出现了对应的包,这样就可以进行之后的抓取了。

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

抓取步骤

这次使用的APP是王者荣耀盒子,打开APP,点击英雄,可以看到第一个英雄-上官婉儿,然后点进去。

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

然后在Fidder中可以找到如下这个包:

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

然后在右侧可以看到如下信息:

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

把这些信息复制一下,然后解码一下就可以看到如下数据了,包括英雄名字、英雄图片、英雄技能等信息:

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

但是在推荐装备的信息里,只有装备的id值,却没有装备的名字,那我们要怎么获得这些装备的名字呢?还是同样的办法,点击查看所有装备,然后抓包,找到对应的包,再进行爬取。在获得所有的装备和对应的id后,可以再爬取所有的英雄名称,然后就可以制作我们自己的英雄攻略了==

运行结果如下:

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

 

完整代码

爬取网页上的数据容易,那怎么爬取手机APP的数据呢?

代码注释
[!--zhushi--]

作者:喵哥笔记

IDC笔记

学的不仅是技术,更是梦想!